[論文レビュー] Joint Modeling of Content and Discourse Relations in Dialogues

Kechen Qin, Lu Wang+1 more|arXiv (Cornell University)|May 14, 2017

Topic Modeling参考文献 30被引用数 3

ひとこと要約

本稿では、会話の会議における顕著な内容フレーズの同定と弁証的ディス course 構造に基づく議論的関係の予測を同時に実行する共同モデリングフレームワークを提案する。内容とディス course の相互作用を活用することで、フレーズ選択（63.2の正確さ）とディス course 関係予測（59.2の正確さ）で最先端の性能を達成し、先行研究に比べて理解の一貫性予測（F1: 63.1）を顕著に改善した。

ABSTRACT

We present a joint modeling approach to identify salient discussion points in spoken meetings as well as to label the discourse relations between speaker turns. A variation of our model is also discussed when discourse relations are treated as latent variables. Experimental results on two popular meeting corpora show that our joint model can outperform state-of-the-art approaches for both phrase-based content selection and discourse relation prediction tasks. We also evaluate our model on predicting the consistency among team members' understanding of their group decisions. Classifiers trained with features constructed from our model achieve significant better predictive performance than the state-of-the-art.

研究の動機と目的

• 会話の会議における顕著な内容フレーズとディス course 関係を共同でモデリングし、内容選択とディス course 理解の両方を向上させること。
• 人手によるディス course 関係のアノテーションが限られかつ高コストであるという課題に対処するため、内容とディス course の信号を共同で学習すること。
• モデルが予測するディス course と内容特徴が、理解の一貫性予測のような下流タスクを改善できるかどうかを評価すること。
• 共同モデリングが、複数の会議コーパスベンチマークにおいて、分離モデリングや強力なベースラインよりも優れた性能を示すことを実証すること。

提案手法

• モデルは、会話の発話単位間の顕著なフレーズ（内容）と、議論的関係（Twente議論構造スキーマからの例：主張、反論など）を同時に予測する共同推論フレームワークを採用する。
• 内容とディス course ラベルの依存関係をモデル化するため、条件付きランダムフィールド（CRF）に類似した構造的予測アプローチを採用する。
• 訓練時にゴールドスタンダードのディス course アノテーションが利用できない場合、ディス course 関係を潜在変数として扱うモデルの変種を採用する。
• 理解の一貫性予測のための特徴は、モデル出力から構築される：理解の一貫性確率差、ディス course 関係のパターン（長さ1および長さ2）、顕著なフレーズに基づく語の一致スコア。
• これらの特徴を用いてSVM分類器を学習し、チームメンバーがグループ意思決定について一貫した理解を持っているかどうかを予測する。
• モデルは、AMIおよびICSIの2つの会議コーパスを用い、1人を除いた交差検証（leave-one-out cross-validation）で評価された。

実験結果

リサーチクエスチョン

• RQ1 会話の会議における内容とディス course 関係の共同モデリングは、フレーズベースの内容選択の性能向上に寄与するか？
• RQ2 最先端のモデルと比較して、共同学習はディス course 関係予測の正確さを向上させるか？
• RQ3 共同モデルの予測から得られる特徴は、グループディスカッションにおける理解の一貫性（COU）予測を改善できるか？
• RQ4 訓練時にディス course 関係を潜在変数として扱った場合、モデルの性能はいかなるものか？

主な発見

• 共同モデルはフレーズ選択で63.2％の正確さを達成し、SVMベースラインを顕著に上回った。
• ディス course 関係予測の正確さは59.2％に達し、最先端のニューラルネットワークベースライン（54.2％）を上回った。
• ディス course 関係を潜在変数として扱った場合でも、AMIおよびICSIの両方でSVMを上回る性能を示した。
• モデルが選択したフレーズを用いた要約生成では、AMIコーパスでROUGE-SU4 F1スコアが21.3に達し、ベースラインおよびキーワード選択法を上回った。
• 理解の一貫性予測においては、モデルの出力特徴を用いて学習したSVM分類器がF1スコア63.1を達成し、先行研究の最良結果（50.5）を顕著に上回った。
• ディス course 関係のパターン、理解の一貫性確率差、語の一致スコアの組み合わせが、最良のCOU予測性能（F1: 63.1）をもたらした。