[論文レビュー] What Happened? Leveraging VerbNet to Predict the Effects of Actions in Procedural Text

Peter E. Clark, Bhavana Dalvi+1 more|arXiv (Cornell University)|Apr 15, 2018

Topic Modeling参考文献 25被引用数 13

ひとこと要約

この論文では、行動の事前条件および効果を手続き的テキスト内でモデル化し、暗黙の世界状態の変化についての推論を可能にする、VerbNetに基づく意味的語彙（Semantic Lexicon）を活用する ProComp というシステムを提示する。状態遷移のシミュレーションと常識的持続性推論を統合することで、表面的キューに依存する読解ベースラインと比較して、プロセス記述を含む質疑応答タスクで顕著に優れた性能を発揮する。

ABSTRACT

Our goal is to answer questions about paragraphs describing processes (e.g., photosynthesis). Texts of this genre are challenging because the effects of actions are often implicit (unstated), requiring background knowledge and inference to reason about the changing world states. To supply this knowledge, we leverage VerbNet to build a rulebase (called the Semantic Lexicon) of the preconditions and effects of actions, and use it along with commonsense knowledge of persistence to answer questions about change. Our evaluation shows that our system, ProComp, significantly outperforms two strong reading comprehension (RC) baselines. Our contributions are two-fold: the Semantic Lexicon rulebase itself, and a demonstration of how a simulation-based approach to machine reading can outperform RC methods that rely on surface cues alone. Since this work was performed, we have developed neural systems that outperform ProComp, described elsewhere (Dalvi et al., NAACL'18). However, the Semantic Lexicon remains a novel and potentially useful resource, and its integration with neural systems remains a currently unexplored opportunity for further improvements in machine reading about processes.

研究の動機と目的

• 手続き的テキストに記述された世界状態の暗黙の変化についての質問に答える課題に対処すること。ここで効果は明示的に述べられていない。
• 言語的イベントパターンを用いて、行動が世界状態にどのように影響するかをモデル化するルールベースのシステムを開発すること。
• 意味的知識を用いたシミュレーションベースの推論が、表面的キューにのみ依存する読解モデルを上回ることを示すこと。
• 行動効果の推論に役立つ再利用可能で知識豊富なリソースである「意味的語彙」を構築すること。

提案手法

• 意味的語彙は、VerbNet を拡張して作成され、行動の事前条件および効果が論理的含意として符号化されたルールを含む（例：'enter' はイベント後に 'is-at' を意味する）。
• ProComp は手続き的テキストをプロセスグラフに解析し、時間ステップにわたってエンティティとイベントを追跡する。
• 意味的語彙のルールを適用して、各イベントステップで新しい世界状態のリテラル（例：'CO2 はリーフにいる' は 'enters' 後に）を推論する。
• 持続性推論を適用して、行動によって変更されない限り、時間ステップ間で状態を維持する。
• 参加者グリッドを用いて、各イベントの前後におけるエンティティの状態を表現し、複数ステップにわたる推論を可能にする。
• 最終シミュレーション状態を照会することで質問に答え、論理的推論と共参照解決を統合する。

実験結果

リサーチクエスチョン

• RQ1 意味的語彙を用いて行動効果をモデル化するルールベースのシステムは、手続き的テキストにおける暗黙の変化についての推論を要する質問において、ニューラル読解モデルを上回る性能を発揮できるか？
• RQ2 世界状態のシミュレーションと言語理解を統合することで、表面的キューに基づく推論に比べてどの程度性能が向上するか？
• RQ3 VerbNet を基にしたルールベースは、現実世界のプロセス記述における行動の事前条件および効果をどの程度的確に捉えられるか？
• RQ4 複雑な世界知識に依存する記号的推論では、どのような種類の誤りが生じるか？また、それらはニューラルモデルがパターンに依存するのと比べてどう異なるか？

主な発見

• ProComp は全質問で F1 スコア 74.8、単一回答質問で 67.0 を達成し、2 つの強力な RC ベースラインを顕著に上回った。
• アブレーションスタディの結果、VerbNet 拡張を削除すると F1 スコアが 5.9 ポints 減少し、意味的語彙の拡張が重要であることを確認した。
• 複数イベントにわたる推論質問、例えば一連の搬送および変換イベントの後におけるインゴットの起源を追跡するような質問において、優れた性能を示した。
• NLP パイプラインの誤りが失敗の約 20% を占めており、信頼性の高いイベント抽出が依然としてボトルネックであることを示した。
• 語彙の欠落（例：'evaporate' における場所の変化が欠落）が誤りの約 30% を占めており、語彙のギャップが顕在化した。
• システムの範囲外の複雑な推論（例：ハイルストーンの形成や冷凍庫内の温度変化を推論すること）が誤りの約 40% を占めており、記号的ルールベースのモデリングの限界を明らかにした。