[論文レビュー] Event Representation Learning Enhanced with External Commonsense Knowledge

Xiao Ding, Kuo Liao+3 more|arXiv (Cornell University)|Sep 9, 2019

Stock Market Forecasting Methods参考文献 26被引用数 5

ひとこと要約

本稿では、ニューラルテンソルネットワークを用いて、意図と感情の外部の常識的知識を統合することで、イベント表現を向上させる共同埋め込みモデルを提案する。共通のベクトル空間内でイベント、意図、感情の埋め込みを同時に学習することにより、イベント類似度（ハードケースで78%の向上）、スクリプトイベント予測、株式市場のボラティリティ予測の3つのタスクで最先端の性能を達成し、微細なイベント理解における心的状態の知識の価値を示した。

ABSTRACT

Prior work has proposed effective methods to learn event representations that can capture syntactic and semantic information over text corpus, demonstrating their effectiveness for downstream tasks such as script event prediction. On the other hand, events extracted from raw texts lacks of commonsense knowledge, such as the intents and emotions of the event participants, which are useful for distinguishing event pairs when there are only subtle differences in their surface realizations. To address this issue, this paper proposes to leverage external commonsense knowledge about the intent and sentiment of the event. Experiments on three event-related tasks, i.e., event similarity, script event prediction and stock market prediction, show that our model obtains much better event embeddings for the tasks, achieving 78% improvements on hard similarity task, yielding more precise inferences on subsequent events under given contexts, and better accuracies in predicting the volatilities of the stock market.

研究の動機と目的

• 既存のイベント表現モデルが、高頻度の語彙的重複があるにもかかわらず、微細な意味的差異を区別できないという限界に対処すること。
• 具体的には、イベント参加者の意図と感情という外部の常識的知識を、イベント表現学習に統合すること。
• より豊富で微細なイベント埋め込みを用いることで、イベント類似度、スクリプトイベント予測、株式市場予測などの下流NLPタスクの性能を向上させること。
• 心的状態情報（意図と感情）がイベント埋め込みの区別力に顕著に寄与することを実証すること。

提案手法

• 主語-動詞-目的語の三項組からベースラインのイベント埋め込みを学習するためにニューラルテンソルネットワーク（NTN）を用いる。
• イベント、意図、感情を共通のベクトル空間にマップする共同埋め込みフレームワークを導入する。
• トレーニング中に意図と感情の監視情報を統合する新しい損失関数を定義し、イベント表現学習をガイドする。
• 一般化を向上させるために、トレーニング中にイベント三項組と意図-感情ペアをネガティブサンプリングによって破損させる。
• Event2mind や ATOMIC といった外部知識ベースを活用し、トレーニング用にアノテート済みの意図と感情ラベルを取得する。
• コントラスト学習とテンソル合成の組み合わせを用いて、エンドツーエンドでモデルを訓練し、意味的相互作用を捉える。

実験結果

リサーチクエスチョン

• RQ1 意図と感情の常識的知識を統合することで、イベント埋め込みの区別力が向上するか？
• RQ2 語彙的重複は高いが意味的差異があるタスクにおいて、外部の心的状態知識はイベント類似度の性能にどのように影響するか？
• RQ3 意図と感情を強化したイベント表現は、スクリプトイベント予測および株式市場ボラティリティ予測のタスクでどの程度性能を向上させるか？
• RQ4 イベント、意図、感情の共同学習は、表面的なテキスト特徴のみに依存するモデルよりも、より良い一般化性能を達成するか？

主な発見

• 提案手法は、ハードな類似度タスクで78%の向上を達成し、ベースラインモデルを著しく上回った。
• 大規模な類似度データセットでは200%の向上を達成し、微細な意味的差異の一般化能力が顕著に優れていることを示した。
• スクリプトイベント予測において、文脈に応じた以降のイベントのより正確な推論を可能にすることで、性能が向上した。
• 株式市場予測では、感情知識の統合により、ベースライン手法に比べて2.4%の絶対的精度向上を達成した。
• 意図と感情の監視を施した共同埋め込みフレームワークは、3つの下流タスクすべてで最先端のベースラインを一貫して上回った。
• 結果から、参加者の心的状態に関する常識的知識が、高品質で区別力のあるイベント表現を学習する上で不可欠であることが確認された。