[論文レビュー] Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning

Lianhui Qin, Vered Shwartz+6 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 52被引用数 17

ひとこと要約

この論文では、勾配に基づく隠れ表現の最適化を伴う前向きおよび後向きパスの交互な実行により、左から右への言語モデルが過去および未来の文脈を統合できるようにする非教師ありデコード手法DeLoreanを紹介する。この手法は、帰納的および反事実的推論の両方において、微調整や教師信号を一切用いずに、帰納的テキスト生成および反事実的ストーリー再ライティングのタスクで最先端の結果を達成し、優れた性能を発揮する。

ABSTRACT

Abductive and counterfactual reasoning, core abilities of everyday human cognition, require reasoning about what might have happened at time t, while conditioning on multiple contexts from the relative past and future. However, simultaneous incorporation of past and future contexts using generative language models (LMs) can be challenging, as they are trained either to condition only on the past context or to perform narrowly scoped text-infilling. In this paper, we propose DeLorean, a new unsupervised decoding algorithm that can flexibly incorporate both the past and future contexts using only off-the-shelf, left-to-right language models and no supervision. The key intuition of our algorithm is incorporating the future through back-propagation, during which, we only update the internal representation of the output while fixing the model parameters. By alternating between forward and backward propagation, DeLorean can decode the output representation that reflects both the left and right contexts. We demonstrate that our approach is general and applicable to two nonmonotonic reasoning tasks: abductive text generation and counterfactual story revision, where DeLorean outperforms a range of unsupervised and some supervised methods, based on automatic and human evaluation.

研究の動機と目的

• 帰納的および反事実的推論などの非単調的推論タスクにおいて、言語モデルを過去および未来の両方の文脈に条件づける課題に対処すること。
• 微調整や追加の教師信号を一切必要とせず、市販の左から右への言語モデルのみを活用する非教師ありデコード手法を開発すること。
• 物語的推論において因果的整合性と最小限の編集が不可欠であるように、左および右の文脈制約を両方尊重する一貫性のあるテキスト生成を可能にすること。
• 狭義のテキスト埋め込みや微調整、教師あり属性識別器に依存する既存手法の限界を克服すること。

提案手法

• DeLoreanは、出力系列の隠れ表現を精緻化するために、前向き（左から右）および後向き（右から左）のパスを交互に実行する。
• 後向きパスでは、タスク固有の損失を用いて未来の文脈から勾配を逆伝播させ、モデルパラメータを固定したまま出力表現のみを更新する。
• 前向きパスでは、過去の文脈に条件づけた尤度を最大化し、P(Y|X)を近似する。一方、後向きパスでは、未来との整合性を強制し、P(Z|XY)を近似する。
• 前向きおよび後向きの隠れ状態を統合して、デコード中にトークンをサンプリングするための単一の文脈ベクトルを生成する。
• この手法は、微調整や追加の学習を一切必要とせず、事前学習済み言語モデルフレームワーク内でのみ動作する。
• 任意の左および右の文脈統合を要する条件付き生成タスクに一般化可能に設計されている。

実験結果

リサーチクエスチョン

• RQ1 微調整を一切用いずに、非教師ありデコード手法が、過去および未来の両方の文脈を効果的に統合できるか。
• RQ2 バックプロパゲーションベースの精緻化機構は、帰納的および反事実的推論タスクにおける一貫性をどの程度向上させられるか。
• RQ3 左から右への言語モデルのみに依存する手法が、非単調的推論タスクにおいて教師ありベースラインと同等の性能を達成できるか。
• RQ4 交互な前向き・後向きパスのメカニズムは、反事実的ストーリー再ライティングにおいて、事実整合性および最小限の編集行動をどの程度向上させるか。

主な発見

• 自動評価および人的評価の両方において、DeLoreanは帰納的テキスト生成および反事実的ストーリー再ライティングの両タスクで、さまざまな非教師ありおよび一部の教師ありベースラインを上回る性能を発揮する。
• 反事実的ストーリー再ライティングのTimeTravelデータセットにおいて、DeLoreanは「彼女はそれを着るのを楽しみにしていた」といった一貫性のある要素を、条件が「ショッピングモールに行った」から「オンラインでシャツを注文した」に変わった場合でも最小限の編集で保存し、適切に再ライティングしている。
• 帰納的推論において、DeLoreanは「彼女はスイングに怪我をした」といった観察された過去と未来の状態をつなぐ妥当な中間イベントを生成し、強力な因果的推論能力を示している。
• 微調整や教師信号を一切用いずに、市販の左から右への言語モデルのみに依存して、最先端の結果を達成している。
• 人的評価では、特に反事実的条件下でも物語の一貫性を保つ点で、DeLoreanの出力が強力な非教師ありベースラインの出力よりも一貫性があり妥当であると確認されている。