[論文レビュー] Reasoning about Actions and State Changes by Injecting Commonsense Knowledge

Niket Tandon, Bhavana Dalvi Mishra+4 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 21被引用数 10

ひとこと要約

この論文では、硬性制約（例：エンティティは2度以上破壊されない）とソフト制約（例：タービンの移動はまれ）を通じて常識的知識を統合することで、手順的テキストにおける行動と状態変化の推論を向上させるニューラル構造予測モデル、ProStructを提案する。モデルは、グローバルに一貫しない予測を大幅に低減することで、従来のシステムを上回り、ProParaベンチマークで相対的に8%の向上を達成するとともに、意味のない出力を回避する。

ABSTRACT

Comprehending procedural text, e.g., a paragraph describing photosynthesis, requires modeling actions and the state changes they produce, so that questions about entities at different timepoints can be answered. Although several recent systems have shown impressive progress in this task, their predictions can be globally inconsistent or highly improbable. In this paper, we show how the predicted effects of actions in the context of a paragraph can be improved in two ways: (1) by incorporating global, commonsense constraints (e.g., a non-existent entity cannot be destroyed), and (2) by biasing reading with preferences from large-scale corpora (e.g., trees rarely move). Unlike earlier methods, we treat the problem as a neural structured prediction task, allowing hard and soft constraints to steer the model away from unlikely predictions. We show that the new model significantly outperforms earlier systems on a benchmark dataset for procedural text comprehension (+8% relative gain), and that it also avoids some of the nonsensical predictions that earlier systems make.

研究の動機と目的

• 手順的テキストにおける状態変化に関するニューラルモデルの予測におけるグローバルな不整合性と不条理を解消すること。
• 予測中に外部の常識的知識を統合することで、行動とその影響に関する推論を改善すること。
• 手順的テキスト理解を、より現実的な状態遷移を得られる制約付き探索を伴う構造予測タスクに再定式化すること。
• 物体が自らから移動する、またはタービンが移動するといった意味のない予測を、世界論理的制約の強制によって低減すること。
• 背景知識（BK）と制約のモデル性能および頑健性への影響を評価すること。

提案手法

• 手順的テキスト理解を、時間軸に跨る状態変化のシーケンスを予測するニューラル構造予測タスクとして扱う。
• 微分可能制約を用いたビームサーチにより、グローバルに一貫性があり妥当な行動シーケンスに向けた探索をガイドする。
• エンティティが1回より多く破壊されないなど、硬性制約（例：論理的に不可能な出来事）をデコード中に微分可能なペナルティとして統合する。
• 大規模コーパスから得られるソフト制約（例：「タービンはめったに移動しない」）を用いて、予測をより可能性の高い状態遷移に偏らせる。
• リtrieバルを介して外部の背景知識（BK）を統合し、例えば「堆積物が崩壊する」という記述が「堆積物の破壊」を示唆するような妥当な状態遷移を支援する。
• 制約付き探索経路を介して勾配を逆伝播させ、予測と制約の両方を一括最適化できるように、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 常識的知識の統合は、手順的テキスト理解におけるニューラルモデルのグローバルな一貫性を向上させることができるか？
• RQ2 硬性制約（例：論理的に不可能な出来事）とソフト制約（例：コーパスに基づく好み）は、予測品質と妥当性にどのように影響するか？
• RQ3 制約は、自己移動や不条理なエンティティ破壊といった意味のない予測をどの程度低減するか？
• RQ4 語彙的不一致が生じた場合、背景知識のリtrieバルはモデル性能にどのように影響するか？
• RQ5 制約に配慮したデコードを伴う構造予測は、標準的なニューラルシーケンスモデルに比べ、手順的推論タスクで優れているか？

主な発見

• 提案されたモデル、ProStructは、手順的テキスト理解のためのProParaベンチマークで、従来の最先端システムに比べ相対的に8%の向上を達成した。
• 硬性制約は、すでに存在する電気の生成といった、グローバルに一貫しない予測を効果的に防止した。
• コーパスから得たソフト制約は、タービンの位置変更といった不条理な予測を低減し、予測をより可能性の高い状態遷移に偏らせる効果を示した。
• 背景知識のリtrieバルは、予測のカバレッジと正確性を向上させたが、語彙的不一致（例：「堆積物」と「堆積物」）が生じた場合には失敗した。
• 誤差解析の結果、暗黙の参照、共参照、代名詞解決が依然として課題であり、とくにエンティティが明示的に言及されていない場合に顕著であった。
• アブレーションスタディの結果、硬性制約とソフト制約の両方が性能向上に顕著に寄与しており、意味のない出力を回避する上で制約が重要な役割を果たしていることが確認された。