[論文レビュー] Incorporating Structured Commonsense Knowledge in Story Completion

Jiaao Chen, Jianshu Chen+1 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 33被引用数 10

ひとこと要約

本稿では、学習可能な組み合わせゲートを介して、物語の順序、感情の変化、ConceptNetからの構造的常識知識を統合するニューラル物語終結選択モデルを提案する。このモデルは、ROCStories Clozeタスクにおいて最先端の手法を上回り、明示的な常識知識の統合が、多様な物語タイプにわたる物語理解と一般化を著しく向上させることを示している。

ABSTRACT

The ability to select an appropriate story ending is the first step towards perfect narrative comprehension. Story ending prediction requires not only the explicit clues within the context, but also the implicit knowledge (such as commonsense) to construct a reasonable and consistent story. However, most previous approaches do not explicitly use background commonsense knowledge. We present a neural story ending selection model that integrates three types of information: narrative sequence, sentiment evolution and commonsense knowledge. Experiments show that our model outperforms state-of-the-art approaches on a public dataset, ROCStory Cloze Task , and the performance gain from adding the additional commonsense knowledge is significant.

研究の動機と目的

• 既存の物語完了モデルが外部の常識知識を明示的に活用しないという限界を解決すること。
• 物語の順序、感情の変化、構造的常識知識という3つの補完的ソースを統合することで、物語理解を向上させること。
• 文脈的関連性に基づいてこれらの情報タイプを動的に重み付けるエンドツーエンドで学習可能なモデルを開発すること。
• 構造的常識知識が、物語と感情の手がかりだけでは達成できない性能向上をもたらすことを実証すること。

提案手法

• 物語の順序を符号化し、物語レベルの依存関係を捉えるために、事前学習済み言語モデルに基づくトランスフォーマー・デコーダーを活用する。
• 感情の変化をモデル化するためにLSTMベースのアーキテクチャを適用し、感情のトレジャクトリを捉える。
• 物語と候補となる終結文のキーワードを中心に、ConceptNetから関連する常識知識のサブグラフを構築して抽出する。
• 物語、感情、常識の各コンポonentの表現を動的に統合するために、学習可能な組み合わせゲートを採用する。
• 2つの候補から正しい物語終結を予測するために、交差エントロピー損失を用いて、モデル全体をエンドツーエンドで学習する。
• 物語要因と妥当な終結を結ぶ顕著な知識パスを特定するために、アテンション機構を活用する。

実験結果

リサーチクエスチョン

• RQ1 構造的常識知識の統合が、物語と感情の手がかりに依存するだけの状況を上回って、物語終結予測を改善できるか？
• RQ2 物語タイプが多様な状況下で、物語、感情、常識という異なる情報タイプがモデルの意思決定にどのように寄与しているか？
• RQ3 モデルが固定の統合戦略を適用するのではなく、物語の文脈に応じて情報源の重みを動的に学習しているか？
• RQ4 物語や感情の手がかりが曖昧または誤解を招く状況では、モデルがどの程度適切に対処できるか？
• RQ5 物語に明示的に記載されていない外部の世界知識を必要とする物語に対しても、モデルは一般化できるか？

主な発見

• 提案手法は、ROCStories Clozeタスクにおいて、最も強力なベースラインより5.2%の顕著な性能向上を達成し、構造的常識知識の統合の有効性を示している。
• 物語や感情の手がかりが曖昧または誤解を招く状況（例：犬を探している物語）では、組み合わせゲートが常識知識に高い注意重みを割り当てることが学習された。
• 感情の変化が顕著な物語では、感情コンポーネントに最も高いゲート重み（0.4880）が割り当てられ、モデルが支配的信号タイプに適応できることを示している。
• 物語の順序が誤解を招く物語では、モデルが感情または常識知識コンポーネントに依存することで、誤った予測を是正した。
• 否定的差異（例：'誘う' vs. '誘わない'）の処理に苦労しており、今後の自然言語推論の統合が求められる。
• すべてのコンポーネントにおいて、正しい終結の条件付き確率が誤った終結よりも常に高く、融合出力で最も高い信頼度を示している。