[論文レビュー] Practical optimal experiment design with probabilistic programs

Long Ouyang, Michael Tessler+2 more|arXiv (Cornell University)|Aug 17, 2016

Evolutionary Algorithms and Applications参考文献 7被引用数 10

ひとこと要約

本論文は、確率的プログラミング言語（PPL）を用いた最適実験設計（OED）の実用的フレームワークを提示している。これにより、科学者が期待情報量の増加を最大にする実験を自動で特定できる。PPLを用いてモデルと実験空間を記述することで、手動での探索やカスタム推論コードなしに最適な実験を計算可能であり、認知心理学の事例研究において、OEDによって手作業で設計された実験に比べて最大5倍の情報量が得られ、被験者数も著しく削減されたことが示された。

ABSTRACT

Scientists often run experiments to distinguish competing theories. This requires patience, rigor, and ingenuity - there is often a large space of possible experiments one could run. But we need not comb this space by hand - if we represent our theories as formal models and explicitly declare the space of experiments, we can automate the search for good experiments, looking for those with high expected information gain. Here, we present a general and principled approach to experiment design based on probabilistic programming languages (PPLs). PPLs offer a clean separation between declaring problems and solving them, which means that the scientist can automate experiment design by simply declaring her model and experiment spaces in the PPL without having to worry about the details of calculating information gain. We demonstrate our system in two case studies drawn from cognitive psychology, where we use it to design optimal experiments in the domains of sequence prediction and categorization. We find strong empirical validation that our automatically designed experiments were indeed optimal. We conclude by discussing a number of interesting questions for future research.

研究の動機と目的

• 競合する科学的モデルに関する信念を最大限に更新する実験の自動探索を目的とする。
• 既存のOEDシステムがカスタムの利得関数や推論アルゴリズムを必要とするという高い導入障壁を克服することを目的とする。
• 期待情報量が実際の情報量を信頼性高く予測できることを実験的設定で示すこと。
• 特にノイズが多い人間の認知行動研究において、実験コストを削減しつつ情報量を増加させられることを示すこと。
• 科学的直感を補完するが、置き換えるのではなく、一般性・拡張性・使いやすさを兼ね備えたOED用の包括的で使いやすいシステムを提供すること。

提案手法

• 科学的理論と実験空間をPPL内で確率的プログラムとして表現し、低レベルの実装詳細を避けて宣言的仕様を可能にする。
• PPLの推論エンジンを活用して、すべての可能な実験における期待情報量の増加を計算し、自動的に最適な実験を同定する。
• OED問題をモデル事後分布の推論として形式化し、事前分布と事後分布のKullback-Leibler発散を最大化することが目的である。
• PPLが任意のリンク関数をサポートしていることを活かし、モデル出力から観察可能な実験反応へのマッピングをモデル化する。
• 実際の認知心理学の問題、特に系列予測とカテゴリー学習にこのフレームワークを適用し、実証的に妥当なモデル比較を実施した。
• 人間被験者を用いた制御実験を通じて、期待情報量の予測値を検証し、異なる実験設計における実際の情報量の差を比較した。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミング言語を用いることで、カスタム推論や利得関数の必要なしに最適実験設計を自動化できるか？
• RQ2 期待情報量は人間認知実験において、実際の情報量を信頼性高く予測できるか？
• RQ3 実世界の設定において、OEDが同定した実験は手作業で設計された実験に比べてどれほど情報量が多いか？
• RQ4 被験者数と情報量のトレードオフという観点から、OEDのコスト・ベネフィットはどの程度か？
• RQ5 ノイズが多く、同一でない反応を示す複雑な現実世界の心理的モデルに対しても、OEDは効果的に適用可能か？

主な発見

• システムが同定した最適実験は、10名の被験者で平均0.15の実際の情報量を達成したが、手作業で設計されたMS実験は30名の被験者を必要とし、同じ水準に達した。
• 1名の被験者に対して、最適実験はMS実験に比べて5.8倍の実際の情報量（0.15 vs. 0.026）を達成しており、期待情報量の予測値（2.5倍）を上回った。
• 最適実験は10名の被験者で最大の情報量に到達したが、MS実験は約30名を要し、被験者数を3倍に削減できた。
• 期待情報量は実際の情報量を強く予測する指標であることが判明し、実験選択の代替指標としての信頼性が裏付けられた。
• このフレームワークは、おもちゃ例をはるかに超える実際の心理的モデルにもスケーラブルに適用可能であり、2つの競合モデルを有する古典的なカテゴリー学習研究にも成功した。
• システムは手動でのチューニングやカスタム推論コードなしに完全に自動化された実験設計を可能にし、OEDへの導入障壁を著しく低減した。