[論文レビュー] Near-Optimal Bayesian Active Learning with Noisy Observations

Daniel Golovin, Andreas Krause+1 more|arXiv (Cornell University)|Oct 15, 2010

Machine Learning and Algorithms参考文献 23被引用数 105

ひとこと要約

この論文は、ノイズのある観測下におけるベイジアン実験設計のための新しいグリーディなアクティブラーニング手法EC²を紹介する。EC²は、適応的サブモジュラリティを活用することで、最適方策と理論的に同等の性能を達成する。相関性のある非一様コストのテストでも、合成的および人間被験者の両方の実験で、GBS、情報量ゲイン、価値の情報ヒューリスティクスを凌駕する近似的最適性能を達成する。

ABSTRACT

We tackle the fundamental problem of Bayesian active learning with noise, where we need to adaptively select from a number of expensive tests in order to identify an unknown hypothesis sampled from a known prior distribution. In the case of noise-free observations, a greedy algorithm called generalized binary search (GBS) is known to perform near-optimally. We show that if the observations are noisy, perhaps surprisingly, GBS can perform very poorly. We develop EC2, a novel, greedy active learning algorithm and prove that it is competitive with the optimal policy, thus obtaining the first competitiveness guarantees for Bayesian active learning with noisy observations. Our bounds rely on a recently discovered diminishing returns property called adaptive submodularity, generalizing the classical notion of submodular set functions to adaptive policies. Our results hold even if the tests have non-uniform cost and their noise is correlated. We also propose EffECXtive, a particularly fast approximation of EC2, and evaluate it on a Bayesian experimental design problem involving human subjects, intended to tease apart competing economic theories of how people make decisions under uncertainty.

研究の動機と目的

• ノイズのある観測下におけるベイジアンアクティブラーニングにおいて、GBSなどの既存のヒューリスティクスが失敗する中、理論的保証の欠如に取り組むこと。
• ノイズのある観測問題をノイズのない問題に還元する枠組みとして、同値類同定問題を形式化すること。
• 非一様なテストコストと相関性のあるノイズがある状況でも、期待コストの観点で最適方策と競合可能なグリーディなアルゴリズムEC²を開発すること。
• 実世界の実験設計における実装を念頭に、EC²の高速近似手法EffECXtiveを提案すること。
• 人間被験者を用いた実験で、競合する経済理論に基づく意思決定行動を分類すること。

提案手法

• EC²は、仮説の同値類を区別するように最適化された目的関数に従ってテストを逐次選択することで、期待コストをほぼ最小化する。
• この手法は、適応的サブモジュラリティ——適応的方策における限界効果の逓減性——に依存し、最適方策との競合可能性を理論的に証明する。
• テスト結果と仮説の同時分布をモデル化することで、非一様なテストコストと相関性のあるノイズに対処する。
• EffECXtiveは、計算効率の高い目的関数を用いてEC²を近似し、強固な理論的・実験的性能を維持する。
• 条件付き独立性の仮定を越えて一般化可能であり、効率的な推論が可能な柔軟な確率的モデルを扱える。
• 経済的意思決定理論の区別を目的としたベイジアン実験設計タスクにおいて、本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 グリーディなアクティブラーニング手法は、ノイズのある観測下でも近似的最適な性能を達成できるか？
• RQ2 一般化された二分探索（GBS）はノイズのある状況でなぜ失敗するのか？新たな基準はこれを克服できるか？
• RQ3 同値類の差別化に基づく目的関数は、ノイズのある、相関性のある、コストがばらつきのあるテストにおいて、理論的に競合可能な方策を導くか？
• RQ4 EC²およびその近似手法EffECXtiveは、情報量ゲインや価値の情報ヒューリスティクスよりも、実世界の実験設計で優れた性能を示せるか？
• RQ5 EffECXtiveを用いたリアルタイム動的実験設計は、高い正確性で人間被験者を経済的意思決定理論に基づいて分類できるか？

主な発見

• EC²は、非一様コストと相関性のあるノイズがある状況でも、ノイズのある観測下におけるベイジアンアクティブラーニングの理論的競合可能性保証を初めて提供するアルゴリズムである。
• GBS、情報量ゲイン、価値の情報ヒューリスティクスは、ノイズのある状況ではランダムよりも著しく劣り、その脆弱性が示された。
• EffECXtiveは、固定パラメータ設定およびパラメータ不確実性設定の両方で、情報量ゲインやランダム選択を上回り、人間被験者を正しい経済理論に分類する成功率が70％に達した。
• 人間被験者の実験では、11名中7名が期待価値（EV）理論で最もよく説明され、2名がプロスペクト理論、1名がCRRAと分類され、意思決定行動の多様性が明らかになった。
• リアルタイム実験設計において、アルゴリズムは必要なテスト回数を削減し、より少ない観測で意思決定タイプの分類を効率的に行えるようになった。
• 結果は、適応的サブモジュラリティが、条件付き独立性の仮定が緩和されても、強固な理論的境界と実用的性能を実現できることを裏付けた。