[論文レビュー] The Human Kernel

Andrew Gordon Wilson, Christoph Dann+2 more|arXiv (Cornell University)|Oct 26, 2015

Gaussian Processes and Bayesian Inference参考文献 21被引用数 18

ひとこと要約

本論文は、人間の実験から得られた行動データを分析することで、関数外挿における人間の帰納的バイアスを逆設計するカーネル学習フレームワークを提案する。人間らしくカーネルを学習することで、ガウス過程が心理的に妥当な方法で外挿できるようになり、人間の学習とモデルベースの学習におけるオッカムの剃刀のメカニズムに関する洞察が得られる。

ABSTRACT

Bayesian nonparametric models, such as Gaussian processes, provide a compelling framework for automatic statistical modelling: these models have a high degree of flexibility, and automatically calibrated complexity. However, automating human expertise remains elusive; for example, Gaussian processes with standard kernels struggle on function extrapolation problems that are trivial for human learners. In this paper, we create function extrapolation problems and acquire human responses, and then design a kernel learning framework to reverse engineer the inductive biases of human learners across a set of behavioral experiments. We use the learned kernels to gain psychological insights and to extrapolate in human-like ways that go beyond traditional stationary and polynomial kernels. Finally, we investigate Occam's razor in human and Gaussian process based function learning.

研究の動機と目的

• 標準のカーネルベースのモデルとは異なり、人間が訓練データを超えて関数を一般化する方法を調査すること。
• 制御された行動実験を通じて、人間の関数外挿の背後にある帰納的バイアスを特定すること。
• 人間らしく一般化する行動を捉え、再現するカーネル学習フレームワークを開発すること。
• オッカムの剃刀およびモデルの複雑さに関して、人間とガウス過程の学習を比較すること。

提案手法

• 関数外挿タスクにおける人間の反応を収集するための行動実験を実施した。
• 人間のデータから帰納的バイアスを推定するためのベイジアン非パラメトリックなカーネル学習フレームワークを設計した。
• 学習済みカーネルを用いたガウス過程を用いて、人間らしく外挿する行動をモデル化した。
• 人間が提供した関数外挿の反応を用いて、カーネル学習モデルを訓練した。
• 外れ分布一般化タスクにおいて、学習済みカーネルの性能を評価し、人間らしさを測定した。
• オッカムの剃刀分析を用いて、人間とモデルベースの学習における単純さの好みの違いを比較した。

実験結果

リサーチクエスチョン

• RQ1 人間は、訓練データを超えて関数を外挿する際に、どのような帰納的バイアスを利用しているのか？
• RQ2 人間の関数外挿行動は、標準のガウス過程モデルとはどのように異なるのか？
• RQ3 人間らしく一般化する関数学習を再現できるカーネルを学習できるか？
• RQ4 人間とガウス過程は、関数学習において、どの程度オッカムの剃刀に従っているのか？
• RQ5 学習済みカーネルは、従来の定常カーネルおよび多項式カーネルと比較して、外挿性能で優れているか？

主な発見

• 学習済みカーネルモデルは、未観測の関数外挿タスクにおいて、人間らしく外挿する行動を成功裏に再現した。
• 人間の学習者は、標準の定常カーネルや多項式カーネルとは異なる帰納的バイアスを示し、特定の構造的パターンを好んでいた。
• カーネル学習フレームワークは、単純で構造的な関数の好みといった、人間の関数学習における心理的規則性を捉えた。
• 人間は、標準のガウス過程よりもオッカムの剃刀を強く好んでおり、より単純なモデルを好んだ。
• 学習済みカーネルは、外れ分布外挿において、標準カーネルよりも優れた一般化性能を示し、帰納的バイアスの整合性が向上していることが示された。
• 本研究では、人間の関数学習が、従来のカーネルでは捉えきれない構造的で非定常な帰納的バイアスを含んでいることが明らかになった。