[論文レビュー] Towards Understanding How Machines Can Learn Causal Overhypotheses

Eliza Kosoy, David M. Chan+8 more|arXiv (Cornell University)|Jun 16, 2022

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

この論文は、因果的過仮説（たとえば、論理積や論理和の関係といった、抽象的で転移可能な因果構造に関する仮説）を学ぶ際の機械学習モデルの学習を評価するベンチマークとして、ブリッキー�t検出器環境を導入する。標準的なタスクでは優れた性能を示すが、深層強化学習（deep RL）、行動クラーニング、大規模言語モデル（例：PaLM、GPT-3）のような最先端のモデルは、明示的な仮説が与えられていない場合、特にゼロショットやフェイシュー設定において一般化や推論を効果的に行えず、人間の子どもたちと比較して人工エージェントにおける因果的推論の顕著なギャップを露呈している。

ABSTRACT

Recent work in machine learning and cognitive science has suggested that understanding causal information is essential to the development of intelligence. The extensive literature in cognitive science using the ``blicket detector'' environment shows that children are adept at many kinds of causal inference and learning. We propose to adapt that environment for machine learning agents. One of the key challenges for current machine learning algorithms is modeling and understanding causal overhypotheses: transferable abstract hypotheses about sets of causal relationships. In contrast, even young children spontaneously learn and use causal overhypotheses. In this work, we present a new benchmark -- a flexible environment which allows for the evaluation of existing techniques under variable causal overhypotheses -- and demonstrate that many existing state-of-the-art methods have trouble generalizing in this environment. The code and resources for this benchmark are available at https://github.com/CannyLab/casual_overhypotheses.

研究の動機と目的

• 機械学習モデルが因果的過仮説（抽象的で転移可能な因果構造に関する仮説）を学び、適用する能力を評価できるベンチマーク環境を開発すること。
• 標準的なタスクでは優れた性能を示すにもかかわらず、現在の最先端モデルが分布外の設定で一般化に失敗する理由を調査すること。
• 子どもたちがわずかなデータからそのような過仮説を素早く推論できるのと比較し、機械学習エージェントの因果的過仮説学習のパフォーマンスを調査すること。
• 因果構造が与えられていない場合、特に探索、仮説生成、不確実性の推論における現在の手法の限界を同定すること。
• 因果表現学習と体系的一般化の分野を前進させるために、再現可能なベンチマーク（コードとデータを含む）を提供すること。

提案手法

• 認知科学で用いられるブリッキー�t検出器環境を適応し、特定の因果的組み合わせ（例：論理積や論理和）でのみ機械が点灯するように設定する。
• エージェントが、観察されたデータのスパarsityに基づいて、因果関係が論理積（両方の対象が必要）か論理和（いずれかの対象で十分）かを推論する必要があるタスクを設計する。
• ゼロショットおよびフェイシュー設定において、深層強化学習（例：Decision Transformer）、行動クラーニング、大規模言語モデル（GPT-3、PaLM）の3つのモデルクラスを評価する。
• 言語モデルに対して、因果構造に関する事前仮説がある・ないの両方の状況で、自由形式およびフェイシューのプロンプトを用いる。
• 因果構造の推論と探索行動の両方を測定し、Kosoy ら（2022）の子どもたちのパフォーマンスと比較する。
• 再現可能な評価を可能にするために、https://github.com/CannyLab/casual_overhypotheses に柔軟でオープンソースのベンチマークを提供する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、明示的な監視がなければ、最小限の観察データから因果的過仮説（例：論理積や論理和の構造）を推論できるか？
• RQ2 因果的過仮説が提供されていない場合、深層強化学習および模倣学習エージェントは、新しい因果構造の探索と一般化においてどの程度のパフォーマンスを示すか？
• RQ3 大規模言語モデル（例：PaLM、GPT-3）は、観察データのみが与えられ、事前仮説がない状況で、どの程度因果構造を推論できるか？
• RQ4 なぜ現在のモデルは、数回の試行でさえも、子どもたちほどの速さで因果的過仮説を学び、適用する能力に欠けているのか？
• RQ5 因果的過仮説の明示的モデリングは、強化学習エージェントにおける探索と一般化を改善できるか？

主な発見

• 因果的過仮説が提供されていない場合、深層強化学習エージェント（例：Decision Transformer）は探索を不十分に行い、保証された環境への一般化に失敗する。
• PaLM や GPT-3 といった大規模言語モデルは、因果構造に関する明示的な仮説が与えられた場合にのみ高い正確性（例：2/2 正解）を達成するが、データからの構造推論を求められると失敗する。
• 仮説が与えられていない状況では、PaLM は論理和タスクで 0/1 正解、論理積タスクで 1/2 正解にとどまり、監視なしでの構造推論に強い困難を示している。
• 完全な訓練データと例が与えられた状況でも、言語モデルは仮説がなければ不確実性を表現したり、正しい因果構造を推論したりすることができず、因果的推論能力の欠如が示唆される。
• 一方、子どもたちはわずかな観察から素早く過仮説を学び、それを用いて探索や因果構造の推論に応用することができ、現在のモデルを上回るパフォーマンスを示している。
• このベンチマークは、因果的推論における顕著なギャップを明らかにした：現在のモデルは、効果的な探索と一般化に役立てる抽象的因果的過仮説を生成・使用する能力に欠けている。