[論文レビュー] Representational efficiency outweighs action efficiency in human program induction

Sophia Sanborn, David Bourgin+2 more|arXiv (Cornell University)|Jul 18, 2018

Reinforcement Learning in Robotics参考文献 21被引用数 7

ひとこと要約

本研究は、人間がプログラム誘導による問題解決において、表現的効率性（representational efficiency）を重視するか、行動的効率性（action efficiency）を重視するかを調査する。新規のマルコフ決定過程（MDP）に基づくタスクを用いて、参加者は行動効率性よりも圧縮可能（すなわち、表現的複雑性が低い）な階層的解決策を生成した。これは、行動回数を最小限に抑えることよりもアルゴリズムの単純さを強く重視していることを示している。

ABSTRACT

The importance of hierarchically structured representations for tractable planning has long been acknowledged. However, the questions of how people discover such abstractions and how to define a set of optimal abstractions remain open. This problem has been explored in cognitive science in the problem solving literature and in computer science in hierarchical reinforcement learning. Here, we emphasize an algorithmic perspective on learning hierarchical representations in which the objective is to efficiently encode the structure of the problem, or, equivalently, to learn an algorithm with minimal length. We introduce a novel problem-solving paradigm that links problem solving and program induction under the Markov Decision Process (MDP) framework. Using this task, we target the question of whether humans discover hierarchical solutions by maximizing efficiency in number of actions they generate or by minimizing the complexity of the resulting representation and find evidence for the primacy of representational efficiency.

研究の動機と目的

• 人間が問題を解く際、行動の数を最小限に抑える（行動的効率性）か、結果となるプログラム表現の複雑性を最小限に抑える（表現的効率性）か、どちらを優先するかを調査すること。
• MDPフレームワーク下で明示的かつアルゴリズム的な解決策が可能となるタスクを導入することで、認知科学と階層的強化学習（HRL）を橋渡しすること。
• 人間がアルゴリズムの単純さや効率的なコーディングにバイアスを示すという仮説を、プログラムの圧縮可能性によって測定すること。
• 行動的効率性、表現的効率性、またはデフォルトの問題解決戦略を強調する条件における人間が生成する解決策を比較すること。
• 表現的効率性—プログラム圧縮によって測定—が、人間の解決策選好を予測する上で行動的効率性を上回るかどうかを評価すること。

提案手法

• 参加者は、階層的でプログラム的な解決策が可能なマルコフ決定過程（MDP）としてフレームされた新規な問題解決タスクを解いた。
• 解決策は、平坦な行動列の正規化圧縮可能性を計算する圧縮アルゴリズムによって評価された：$\text{圧縮可能性} = \frac{\text{平坦長} - \text{圧縮長}}{\text{平坦長}}$。
• 3つの実験的条件を用いた：効率的（行動最小化）、デフォルト階層（表現的効率性）、デフォルトフラット（ガイダンスなし）。
• 圧縮アルゴリズムは、繰り返しの部分手順を同定し、関数呼び出しに置き換えることでプログラム長を最小化する。
• 解決策は平坦化され、圧縮されて表現的複雑性を定量化した。圧縮可能性が高いほど、複雑性は低い。
• 圧縮可能性と行動回数の差を、条件間で統計的比較した。

実験結果

リサーチクエスチョン

• RQ1 人間は、原始的行動の数を最小限に抑える解決策（行動的効率性）を好むか、それともよりコンパクトで圧縮可能な表現をもたらす解決策（表現的効率性）を好むか？
• RQ2 行動的効率性を強調する条件と表現的効率性を強調する条件との間で、人間の解決策における階層的構造の有無はどのように異なるか？
• RQ3 圧縮可能性が直接的な利点をもたらさない（例：フラットな解決策の条件において）にもかかわらず、人間は圧縮可能な解決策を生成する傾向があると見られるか？
• RQ4 プログラム圧縮によって測定される表現的複雑性は、異なるタスク条件において人間の解決策選好をどの程度まで予測できるか？
• RQ5 プログラム圧縮指標は、人間の問題解決選好をモデル化する際、アルゴリズムの単純さの妥当な代理指標として機能するか？

主な発見

• デフォルト階層および効率的階層条件の参加者は、効率的およびデフォルトフラット条件の参加者よりも顕著に高い圧縮可能性を示した（すべての比較でp < .0001）。
• 行動回数が長いにもかかわらず、階層的条件の参加者は著しく圧縮可能な解決策を生成した。これは、表現的効率性を好む傾向を示している。
• パズル5および6において、デフォルトフラット条件は、効率的フラット条件よりも高い圧縮可能性を示した（p < .05）。この条件では圧縮可能性に直接的な利点がなかったにもかかわらずである。
• 圧縮可能なフラットな解決策がデフォルトフラット条件で好まれたという結果は、明示的なインcentiveがなくても、低複雑性の表現へのデフォルトバイアスがあることを示唆している。
• 結果として、表現的効率性—プログラム圧縮によって測定—が、人間のプログラム誘導を導く要因として行動的効率性を上回ることが示された。
• 本研究は、人間が問題解決においてアルゴリズムの単純さや効率的なコーディングに認知的バイアスを有することを、実証的に裏付けた。