[論文レビュー] Flexible Compositional Learning of Structured Visual Concepts

Yanli Zhou, Brenden M. Lake|arXiv (Cornell University)|May 20, 2021

Multimodal Machine Learning Applications参考文献 22被引用数 4

ひとこと要約

本稿では、多様な関係的構造を表現するための確率的思考言語を用いて、少数の例から構造的視覚的概念を柔軟に学習するベイジアンプログラム誘導モデルを提案する。このモデルは、固定配置、自由な部品の組み合わせ、方向制約、ペaired要素といった複数の構成タイプにおいて、人間の行動データに非常に良く一致し、方向不変性および柔軟な構成再利用に対する強い帰納的バイアスを示している。

ABSTRACT

Humans are highly efficient learners, with the ability to grasp the meaning of a new concept from just a few examples. Unlike popular computer vision systems, humans can flexibly leverage the compositional structure of the visual world, understanding new concepts as combinations of existing concepts. In the current paper, we study how people learn different types of visual compositions, using abstract visual forms with rich relational structure. We find that people can make meaningful compositional generalizations from just a few examples in a variety of scenarios, and we develop a Bayesian program induction model that provides a close fit to the behavioral data. Unlike past work examining special cases of compositionality, our work shows how a single computational approach can account for many distinct types of compositional generalization.

研究の動機と目的

• 人間が少数例から多様な視覚的構成タイプ（固定配置、自由な部品の組み合わせ、方向制約、ペaired要素など）にわたる一般化を行うメカニズムを解明すること。
• 固定配置、自由な部品の組み合わせ、方向制約、ペaired要素を含む、多様な形の構成的一般化を統一的に説明できる計算モデルを構築すること。
• 単一のベイジアンプログラム誘導フレームワークが、視覚的概念学習における人間の帰納的バイアスの豊かさをどれだけ捉えられるかを評価すること。

提案手法

• 研究では、抽象的な異星人の図形を生成するためのジェネレーティブプログラムの空間を定義するために、確率的思考言語（PLoT）を用いる。この言語は、部品、関係、空間的配置をエンコードする。
• ベイジアン推論フレームワークにより、観察された例に基づく後験確率に基づいてプログラムのスコアを算出し、構成的構造の事前分布の下でデータを最もよく説明するプログラムを優先する。
• モデルは2つの主要な文法操作を採用する：『attach』は2つの部品のすべての可能な配置を生成するためのもので、『attach*』は特定のターゲット配置を指定するためのものである。
• 自由パラメータを用いて、人間の帰納的バイアス（方向不変性、構成の柔軟性など）を捉えるために、最大事後確率（MAP）推定を用いて行動データにモデルを適合させる。
• 生成的サンプリングにより、新しい概念を生成可能であり、人間が生成した例と比較可能で、生成タスクにおけるモデルの評価が可能である。
• 構成的構造や関係的推論の役割を隔離するために、文字列ベースのモデルや事前学習済みCNNと比較する代替モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 人間は、たった数例の情報から、固定配置、自由な組み合わせ、方向制約、ペaired要素といった多様な視覚的概念タイプに対して意味的な構成的一般化を可能にするか？
• RQ2 方向不変性や新しい配置に対する耐性といった、人間の帰納的バイアスは、少数例の設定における概念学習行動にどのように影響するか？
• RQ3 単一のベイジアンプログラム誘導モデルが、視覚学習における多様なタイプの構成的一般化をどれだけ説明できるか？

主な発見

• ベイジアンプログラム誘導モデルは、全テスト概念タイプにおいて人間の一般化パターンを非常に良く再現し、文字列-GCM や事前学習済みCNN といったベースラインモデルを著しく上回った。
• 被験者たちは方向不変性の概念を強く好んだことが、モデルの文法における方向不変性の確率のMAP推定値が高かったことからも裏付けられた。
• 人間は、観察された配置を超えた柔軟な一般化を示しており、特定のレイアウトの剛直な記憶よりも、再利用可能な抽象的関係的ルールへのバイアスがあることが示された。
• モデルが新しい配置や未観測のプリミティブに対しても一般化できる能力は、部品の繰り返しや関係的制約といった、より高次の構成的抽象化を捉える能力を示している。
• 適合されたモデルのパラメータは、心理的に意味のある帰納的バイアスを明らかにした。特に、固定配置を必要としない概念を好む傾向があり、構成的一般化への強いバイアスが示された。
• このフレームワークにより、識別的タスクと生成的タスクの両方で、人間とモデルの行動を直接比較可能となり、ニューラルネットワークモデルに人間のような帰納的バイアスを組み込む道筋が示された。