[論文レビュー] Sequence to Sequence Learning for Event Prediction

Dai Quoc Nguyen, Dat Quoc Nguyen+3 more|arXiv (Cornell University)|Sep 18, 2017

Topic Modeling参考文献 17被引用数 10

ひとこと要約

本稿では、イベント予測のための順序系列学習モデルを提案する。このモデルは、双方向マルチレイヤーRNN（BiLSTM/BiGRU）とアテンションを用い、BLEUスコアで先行研究を著しく上回り、ゴールド並記表現セットを用いた意味的評価を導入している。モデルは意味的正しさにおいて31%の精度を達成し、ベースラインを3.4%上回っており、オープンドメイン（WikiHow）およびクローズドドメイン（DeScript）の両データセットで頑健な性能を示している。

ABSTRACT

This paper presents an approach to the task of predicting an event description from a preceding sentence in a text. Our approach explores sequence-to-sequence learning using a bidirectional multi-layer recurrent neural network. Our approach substantially outperforms previous work in terms of the BLEU score on two datasets derived from WikiHow and DeScript respectively. Since the BLEU score is not easy to interpret as a measure of event prediction, we complement our study with a second evaluation that exploits the rich linguistic annotation of gold paraphrase sets of events.

研究の動機と目的

• 物語的順序列における次のイベントを、それ以前のイベント記述に基づいて予測するという課題に対処すること。
• 双方向およびマルチレイヤーRNNを用いた高度な順序系列アーキテクチャを活用することで、先行研究を改善すること。
• ゴールド並記表現セットを用いた意味的評価手法を導入し、表面的なBLEUスコアを超えた予測の正しさを評価すること。
• イベント予測研究のための2つの新しいデータセット（WikiHowベースのオープンドメインおよびDeScriptベースのクローズドドメイン）を構築・公開すること。

提案手法

• 入力イベント文を文脈的な隠れ状態に変換するために、双方向長短期記憶（BiLSTM）またはゲート型再帰ユニット（BiGRU）エンコーダーを用いる。
• トークン単位で次のイベント記述を生成するために、アテンション機構を有するか無しの単方向RNNデコーダーを用いる。
• Vinyalsら（2015）に基づくアテンション機構を適用し、デコード中にソース系列の関連部分に動的に注目できるようにする。
• 正解のターゲット系列の尤度を最大化するために、クロスエントロピー損失を用いてモデルをエンドツーエンドで訓練する。
• 標準的なBLEUスコアに加え、DeScriptコーパスからのゴールド並記表現セットを用いた新規な意味的評価を実施して性能を評価する。
• 2段階の評価を実施：まずテストセット上で標準BLEUを測定し、次に予測済みおよびターゲットイベントが同じ並記表現セットに属するかをチェックすることで意味的正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 双方向およびマルチレイヤーRNNを用いた順序系列モデルは、オープンドメインおよびクローズドドメインの両データセットで、先行手法を上回る性能を発揮できるか？
• RQ2 アテンション機構の導入は、イベント予測モデルの性能にどのように影響するか？
• RQ3 BLEUスコアと意味的正確性の相関はどの程度であり、並記表現ベースの評価はより意味のある指標を提供できるか？
• RQ4 モデルの深さ（単層対マルチレイヤー）は、イベント生成タスクにおける予測品質にどのように影響するか？
• RQ5 この予測タスクにおける人間の性能の上限はどの程度であり、モデルはその水準と比較してどうか？

主な発見

• 本稿で提案する2層BiLSTM Seq2Seqモデルにアテンションを組み合わせたモデルは、DeScriptベースのテストセットで6.19のBLEUスコアを達成し、先行研究を著しく上回った。
• DeScriptの並記表現セット評価において、モデルは31%の意味的正確性を達成した。これは24%のベースライン精度と7%のニアミス補正を組み合わせたものであり、ベースラインを3.4ポイント上回った。
• アテンション機構は短いソース文（≤10トークン）では性能を向上させるが、長文では性能が低下する傾向にあり、長文文脈におけるアテンションの限界を示している。
• モデルはオープンドメインのWikiHowデータセットに対しても強く一般化しており、さまざまな文長で高いBLEUスコアを示した。
• DeScriptベースの並記表現評価から、BLEUスコアだけでは意味的正確性の評価が不十分であることが明らかになった。これは、意味的評価指標の必要性を裏付けた。
• イベント予測のランダムベースラインはたったの4%であり、タスクが非自明であることを示しており、モデルの31%の正確性は有意義な前進を示している。