[論文レビュー] Automatic Prediction of Discourse Connectives

Eric Malmi, Daniele Pighin+2 more|arXiv (Cornell University)|Feb 3, 2017

Topic Modeling参考文献 21被引用数 9

ひとこと要約

この論文では、2.900万件のウィキペディア文書ペアのデータセットを用いて、分解型アテンション（DA）モデルを用いた神経的アプローチにより、対話的接続詞（例：しかし、さらに）の自動予測を提案する。モデルは2.900万件のデータセットで学習され、F1スコア32を達成し、人間の評価者（F1 30）を上回る性能を示す一方で、人間と同様の誤りパターンを示し、アテンション機構による解釈可能性も示している。

ABSTRACT

Accurate prediction of suitable discourse connectives (however, furthermore, etc.) is a key component of any system aimed at building coherent and fluent discourses from shorter sentences and passages. As an example, a dialog system might assemble a long and informative answer by sampling passages extracted from different documents retrieved from the Web. We formulate the task of discourse connective prediction and release a dataset of 2.9M sentence pairs separated by discourse connectives for this task. Then, we evaluate the hardness of the task for human raters, apply a recently proposed decomposable attention (DA) model to this task and observe that the automatic predictor has a higher F1 than human raters (32 vs. 30). Nevertheless, under specific conditions the raters still outperform the DA model, suggesting that there is headroom for future improvements.

研究の動機と目的

• 要約や対話システムにおけるテキストの整合性を向上させるために、適切な対話的接続詞を自動的に予測する課題に対処すること。
• 対話的接続詞を含む2.900万件の文書ペアの大型スケールデータセットを収集・公開すること。
• 神経ネットワークモデル、特に分解型アテンションモデルの性能を、人間の評価者と比較してこのタスクで評価すること。
• 神経ネットワークモデルが接続詞選択のための意味的・文法的ヒントを意味的に学習できるかを調査すること。
• アテンションアライメント行列を用いた解釈可能性の分析を行い、人間の評価者と誤りパターンを比較すること。

提案手法

• 著者らは、英語のウィキペディアから連続する2.900万件の文書ペアを収集し、接続詞あり・なしの両ケースを含めた。
• 評価のための10,000件のヒューマンアノテートサンプルを含み、評価者は79種類の対話的接続詞の中から最も適切なものを選択した。
• 2つの文の間の対話的接続詞を予測するために、分解型アテンション（DA）モデルを適用し、二文分類タスクとして扱った。
• DAモデルは、2つの文のトークン間のソフトアテンションを計算し、予測に寄与する語のペアを特定できる。
• クロスエントロピー損失とソフトマックス分類を用い、79種類の対話的接続詞または[No connective]のいずれかを予測するようにモデルを学習させた。
• アテンションヒートマップを用いてモデルの解釈可能性を分析し、1つ目の文のどの語が2つ目の文のどの語と一致して接続詞選択に寄与しているかを可視化した。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークモデルは、文書ペア間の対話的接続詞予測において、人間の評価者を上回ることができるか？
• RQ2 DAモデルの誤りパターンは、人間の評価者との間でどのように比較されるか？
• RQ3 神経ネットワークモデルは、対話的接続詞選択の際に、どのような文法的・意味的ヒントを学習するか？
• RQ4 モデルのアテンション機構は、文書ペア間で解釈可能で意味のあるアライメントを提供するか？
• RQ5 人間の評価者が神経ネットワークモデルを上回る状況は、どのような条件下で生じるか？

主な発見

• 分解型アテンションモデルはテストセットでF1スコア32を達成し、人間の評価者（F1 30）を上回った。
• モデルの誤りマトリクスは人間の誤りパターンと類似しており、同様の推論や意思決定の傾向を示している。
• 多数の評価者が明示的な接続詞に合意するケースに限定すると、人間の評価者がモデルを上回る結果となった。これは、暗黙的または頻度の高い接続詞に人間が好む傾向があることを示唆している。
• モデルは、対比的語（例：'attempt' と 'refuse'）や時制マーカー（例：'was disqualified' と 'had gone'）といった意味的・構文的に関連する語のペアに注目するよう学習した。
• アテンションヒートマップから、過去形や完了態といった語彙的・文法的ヒントが、'by then' などの接続詞の予測に寄与していることが明らかになった。
• モデルは、意味的に類似した接続詞（例：'however' と 'nevertheless'、'instead' と 'rather'）の間で頻繁に誤りを犯しており、これは人間の評価者とも同様の行動を示している。