[論文レビュー] Tell me why! Explanations support learning relational and causal structure

Andrew K. Lampinen, Nicholas Roy+9 more|arXiv (Cornell University)|Dec 7, 2021

Topic Modeling被引用数 9

ひとこと要約

この論文は、自然言語の説明を予測するように訓練する（単にそれらを観察するのではなく）ことで、深層強化学習エージェントが複雑な環境における関係的・因果的構造を学習する能力が顕著に向上することを示している。説明を予測することで、エージェントは分布外に一般化しやすく、誤った相関関係を回避し、因果的介入を学習すら可能にし、奇抜な要因特定タスクおよび混同された因果タスクでベースラインモデルを上回る性能を発揮する。

ABSTRACT

Inferring the abstract relational and causal structure of the world is a major challenge for reinforcement-learning (RL) agents. For humans, language--particularly in the form of explanations--plays a considerable role in overcoming this challenge. Here, we show that language can play a similar role for deep RL agents in complex environments. While agents typically struggle to acquire relational and causal knowledge, augmenting their experience by training them to predict language descriptions and explanations can overcome these limitations. We show that language can help agents learn challenging relational tasks, and examine which aspects of language contribute to its benefits. We then show that explanations can help agents to infer not only relational but also causal structure. Language can shape the way that agents to generalize out-of-distribution from ambiguous, causally-confounded training, and explanations even allow agents to learn to perform experimental interventions to identify causal relationships. Our results suggest that language description and explanation may be powerful tools for improving agent learning and generalization.

研究の動機と目的

• 言語的説明が、複雑な環境における抽象的関係的・因果的構造を深層強化学習エージェントが学習するのを支援するかどうかを調査すること。
• 単にそれらを観察するのではなく、説明を予測すること（予測）が学習および一般化をどのように向上させるかを検討すること。
• 説明が、混同された訓練環境における誤った相関関係や容易に学習可能な特徴に偏るバイアスをエージェントがどのように克服するかを特定すること。
• 説明が、因果的構造を特定するための実験的介入を学習可能にするかを評価すること。
• 説明の異なる側面（例：抽象化、因果的リンク）が、性能向上にどのように寄与するかを調査すること。

提案手法

• エージェントは、ポリシー・ネットワークと価値関数を用いた深層強化学習により、2次元および3次元の環境で訓練される。
• 言語ヘッドは、行動、観察、タスク構造の間の関係を説明する自然言語の説明を予測するように訓練される。
• 説明は、『オーブンをつけると加熱されて、ベーキングの準備ができる』のように、エージェントの行動と抽象的なタスク目標を結ぶ言語文字列として定義される。
• モデルは、人間がアノテートしたまたは合成された説明データを用いて、交差エントロピー損失を用いて教師あり学習により説明を予測するように訓練される。
• 一般化性能は、因果的特徴と誤った相関特徴が分離された、混同されていない分布外のテストセットで評価される。
• 因果的介入タスクでは、エージェントが因果的構造をテストするために変数を操作するような行動を選択・実行する必要がある。

実験結果

リサーチクエスチョン

• RQ1 エージェントを言語的説明を予測するように訓練することで、強化学習タスクにおける関係的構造の学習が向上するか？
• RQ2 説明を予測すること（観察するのとは異なり）は、説明を観察するか言語の監視なしの状況と比較して、分布外一般化性能を向上させるか？
• RQ3 説明の異なる要素（例：因果的リンク、抽象的記述）が、学習および一般化性能の向上にどのように寄与するか？
• RQ4 説明予測を用いて訓練されたエージェントは、因果的構造を特定するための実験的介入を学習できるか？
• RQ5 説明は、因果的に混同された環境において、誤った相関関係を学習するのをエージェントがどれほど効果的に回避するのを支援するか？

主な発見

• 混同されていない分布外評価において、説明を予測するように訓練されたエージェントは、ベースラインエージェントと比較して顕著に優れた一般化性能を示し、特に因果的に混同されたタスクで顕著であった。
• 予測ベースの説明訓練により、訓練中に報酬を完璧に予測できたが評価では失敗した、誤った相関特徴への依存が低下した。
• 説明を予測するエージェントは、因果的構造を特定するための実験的介入を学習し、因果的推論のメタ学習を示した。
• 説明の恩恵は、単にそれらを観察するのではなく、予測するように訓練した場合に顕著に現れ、予測学習が内部表現を形作っていることを示唆した。
• 説明により、混同された特徴を分離し、多様な関係的・因果的タスクにおいてより強固で一般化可能なポリシーを形成できるようになった。
• すなわち、真の因果的構造が存在しない状況でも、説明予測はエージェントが抽象化を形成し、曖昧で複雑なタスクにおける性能を向上させるのを支援した。