[論文レビュー] Can Transformers Reason About Effects of Actions?

Pratyay Banerjee, Chitta Baral+5 more|arXiv (Cornell University)|Dec 17, 2020

Topic Modeling参考文献 31被引用数 4

ひとこと要約

この論文は、合成QAデータセットを用いて、4つのドメイン（Blocks World、Logistics、Dock-Worker-Robots、汎用ドメイン）において、トランスフォーマーが自然言語で行動の影響を推論できるかどうかを調査している。論理的に一貫したシナリオを生成するためにAnswer Set Programming（ASP）を用い、行動効果推論タスクにトランスフォーマーを訓練した結果、肯定/否定質問および数え上げ質問では高い性能を示した。ゼロショット一般化の向上には、汎用ドメインからの微調整が必要であったが、複雑な推論チェーンでは性能が低下した。

ABSTRACT

A recent work has shown that transformers are able to "reason" with facts and rules in a limited setting where the rules are natural language expressions of conjunctions of conditions implying a conclusion. Since this suggests that transformers may be used for reasoning with knowledge given in natural language, we do a rigorous evaluation of this with respect to a common form of knowledge and its corresponding reasoning -- the reasoning about effects of actions. Reasoning about action and change has been a top focus in the knowledge representation subfield of AI from the early days of AI and more recently it has been a highlight aspect in common sense question answering. We consider four action domains (Blocks World, Logistics, Dock-Worker-Robots and a Generic Domain) in natural language and create QA datasets that involve reasoning about the effects of actions in these domains. We investigate the ability of transformers to (a) learn to reason in these domains and (b) transfer that learning from the generic domains to the other domains.

研究の動機と目的

• トランスフォーマーが、従来の結合的規則推論の研究を拡張して、自然言語における行動効果の推論を学習し一般化できるかどうかを評価すること。
• 汎用ドメインから特定の行動ドメイン（Blocks World、Logistics、DWR）へのゼロショット転移学習を評価し、一般化能力を検証すること。
• Answer Set Programming（ASP）を用いて、形式的行動理論に基づいた論理的に整合性のある合成QAデータセットを生成・評価すること。
• 行動実行可能性、フラuent（状態変数）、状態遷移を含む、オープンエンドおよび数値的質問におけるトランスフォーマー推論の限界を調査すること。
• 推論の複雑さ、特にチェーン・オブ・トゥーク（Chain-of-Thought）や条件付き効果に伴う、モデル性能の変動を検討すること。

提案手法

• Answer Set Programming（ASP）を用いて、行動効果、実行条件、フラuentを形式的意味論でエンコードし、合成された行動ドメインを生成した。
• 4つのドメインを定義した：Blocks World、Logistics、DWR（Dock-Worker-Robots）、および抽象的行動とフラuentを持つ汎用ドメイン。
• ASPソルバーを用いて行動シーケンスをシミュレートし、結果の状態を導出し、肯定/否定、開放的、数値的（数え上げ）回答を含むQAデータセットを構築した。
• 各ドメインの訓練データセットでトランスフォーマーモデル（例：BERT、RoBERTa）を訓練し、未観測のテストデータセットで評価した。
• ゼロショット転移学習として、汎用ドメインで微調整を行い、特定ドメインでは追加の微調整なしに評価した。
• フレーム問題の処理、インertia（慣性）、行動事前条件をASPルールでエンコードし、生成されたシナリオの論理的整合性を保証した。

実験結果

リサーチクエスチョン

• RQ1 構造的ドメインからの合成QAデータセットで訓練された場合、トランスフォーマーは自然言語における行動効果の推論を学習し、一般化できるか？
• RQ2 汎用ドメインからBlocks World、Logistics、DWRのような特定ドメインへのゼロショット転移学習は、どの程度の性能を示すか？
• RQ3 複数の条件付き効果やネストされた依存関係を含む、複雑な推論タスクにおけるトランスフォーマーの性能はいかがなものか？
• RQ4 肯定/否定、開放的、数値的（数え上げ）質問といった、異なる種類のQAにおいて、モデルの能力はどのように変化するか？
• RQ5 モデルの予測が、ASPで生成されたデータセットに埋め込まれた形式的意味論とどの程度論理的に整合性を保っているか？

主な発見

• Blocks WorldおよびLogisticsドメインにおいて、ドメイン固有のデータで訓練した場合、肯定/否定質問で95％以上の正確性を達成した。
• DWRおよび汎用ドメインの数え上げ質問（例：「何台のロボットが降ろされたか？」）では、90％以上の正確性を達成した。
• 汎用ドメインからのゼロショット転移により、肯定/否定質問で80–85％の正確性が得られ、推論パターンの部分的な一般化が示された。
• 複数の条件付き効果やネストされた依存関係を含む複雑な推論チェーンでは、性能が著しく低下し、合成的一般化の限界が示された。
• 単純な行動効果推論では、ASPで生成された正解と高い一貫性を示したが、複数のフラuentの変化をシーケンス全体にわたって追跡する必要がある推論では苦戦した。
• 汎用ドメインは効果的な事前学習ソースであり、ランダム初期化よりも優れたゼロショット転移を可能としたが、微調整済みのドメイン固有モデルには及ばない性能にとどまった。