[論文レビュー] Story Ending Generation with Incremental Encoding and Commonsense Knowledge

Jian Guan, Yansen Wang+1 more|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 32被引用数 8

ひとこと要約

本稿では、物語の文の間で文脈的手がかりを捉えるために段階的符号化を用い、ConceptNetからの常識的知識を統合するためにマルチソースアテンションを用いるニューラルモデルを提案する。自動的および手動での評価によって、最先端のベースラインと比較して、より一貫性があり妥当性の高い物語の結末を生成する。

ABSTRACT

Generating a reasonable ending for a given story context, i.e., story ending generation, is a strong indication of story comprehension. This task requires not only to understand the context clues which play an important role in planning the plot but also to handle implicit knowledge to make a reasonable, coherent story. In this paper, we devise a novel model for story ending generation. The model adopts an incremental encoding scheme to represent context clues which are spanning in the story context. In addition, commonsense knowledge is applied through multi-source attention to facilitate story comprehension, and thus to help generate coherent and reasonable endings. Through building context clues and using implicit knowledge, the model is able to produce reasonable story endings. context clues implied in the post and make the inference based on it. Automatic and manual evaluation shows that our model can generate more reasonable story endings than state-of-the-art baselines.

研究の動機と目的

• 複数の文にまたがる論理的文脈的手がかりをモデル化することで、物語の結末生成を改善すること。
• 表面的なテキストを超えた暗黙の常識的知識を統合することで、物語の理解を向上させること。
• 段階的符号化とマルチソースアテンションを効果的に組み合わせることで、より良い文脈および知識の活用を実現するニューラルアーキテクチャを開発すること。
• 従来の手法と比較して、より一貫性があり論理的で文脈的に適切な物語の結末を生成すること。

提案手法

• モデルは物語の文を逐次処理する段階的符号化を採用し、各新しい文ごとに進化する動的文脈表現を維持する。
• 各単語に対して、前の単語とConceptNetから取得した関連する知識グラフを参照することで、文脈的手がかりを構築する。
• マルチソースアテンションを用いて、再帰的符号化の隠れ状態と知識グラフの埋め込みに同時に注目し、テキストと知識の両方を統合的に推論可能にする。
• 知識グラフの埋め込みはConceptNetから得られ、'AtLocation' や 'RelatedTo' のような関係が、エンティティや出来事と関連する常識的知識にリンクする。
• 最終的な文脈ベクトルは、両方のソースの上でのアテンション機構を用いて、隠れ状態と知識に依存する表現の重み付き和として計算される。
• モデルは、一貫性があり文脈的に適切な物語の結末を生成するように、交差エントロピー損失を用いたシーケンス・トゥ・シーケンス学習によりエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 段階的符号化は、物語の文の間で長距離の論理的依存関係を効果的にモデル化できるか？
• RQ2 外部の知識ベースからの常識的知識を統合することで、生成された物語の結末の一貫性と妥当性はどのように向上するか？
• RQ3 テキストと知識グラフの両方に注目するマルチソースアテンションは、表面的なテキストのみに依存するモデルと比較して、物語理解をどの程度向上させるか？
• RQ4 モデルは文法的に正しいだけでなく、文脈的に整合性のある複数の妥当な物語の結末を生成できるか？
• RQ5 自動的および人間による評価指標において、提案手法は最先端のベースラインと比較してどの程度優れているか？

主な発見

• 提案手法は、自動的および手動の両方の評価で最先端のベースラインを上回り、より一貫性があり妥当性の高い物語の結末を生成する。
• 段階的符号化機構は、文の間で進化する文脈的手がかりを効果的に捉えており、より良いプロット計画と論理的一致性を実現している。
• マルチソースアテンションによる常識的知識の統合は、暗黙の知識や文化的知識を含む状況において、生成される結末の妥当性を顕著に向上させている。
• 可視化の結果、アテンション機構が物語の重要な出来事やエンティティを関連する知識グラフのノードにうまく結びつけており、例として'dinner'を'eat'に、'oven'を'burn'に結びつけている。
• モデルは、Seq2Seq や HLSTM のようなベースラインで見られるような、エンティティの捏造や繰り返しコンテンツの誤りを避けて、より自然で文法的に正しい結末を生成している。
• アブレーションスタディの結果、段階的符号化と知識統合の両方が、独立してかつ相乗的に性能向上に寄与していることが確認された。