[論文レビュー] Near-optimal Bayesian Active Learning with Correlated and Noisy Tests

Yuxin Chen, S. Hamed Hassani+1 more|arXiv (Cornell University)|May 24, 2016

Machine Learning and Algorithms参考文献 22被引用数 6

ひとこと要約

本稿では、相関性・ノイズのあるテストが存在する設定において、近似的に最適なベイジアンアクティブラーニング手法であるECEDを提案する。ECEDは、テストの依存関係を考慮した代替目的関数を用い、適応的サブモジュラリティを活用することで、従来のグリーディ手法が条件付き依存性やテスト結果のノイズによって失敗する状況でも、近似的に最適な性能を達成する。

ABSTRACT

We consider the Bayesian active learning and experimental design problem, where the goal is to learn the value of some unknown target variable through a sequence of informative, noisy tests. In contrast to prior work, we focus on the challenging, yet practically relevant setting where test outcomes can be conditionally dependent given the hidden target variable. Under such assumptions, common heuristics, such as greedily performing tests that maximize the reduction in uncertainty of the target, often perform poorly. In this paper, we propose ECED, a novel, computationally efficient active learning algorithm, and prove strong theoretical guarantees that hold with correlated, noisy tests. Rather than directly optimizing the prediction error, at each step, ECED picks the test that maximizes the gain in a surrogate objective, which takes into account the dependencies between tests. Our analysis relies on an information-theoretic auxiliary function to track the progress of ECED, and utilizes adaptive submodularity to attain the near-optimal bound. We demonstrate strong empirical performance of ECED on two problem instances, including a Bayesian experimental design task intended to distinguish among economic theories of how people make risky decisions, and an active preference learning task via pairwise comparisons.

研究の動機と目的

• 条件付き依存性・ノイズのあるテスト結果が生じる設定におけるグリーディアクティブラーニングの限界を解消すること。
• テストの相関性とノイズがあっても、近似的に最適な性能を達成できる計算効率の良いアルゴリズムの開発。
• 現実的で複雑な確率的依存関係下でのアクティブラーニングに対する理論的保証の提供。
• 実世界の実験設計および好み学習タスクにおける手法の有効性の実証。

提案手法

• ECEDは、テスト間の依存関係を考慮した長期的情報量の増加を捉える代替目的関数に基づいてテストを選択する。
• 進捗の追跡とノイズの影響の分析のため、情報理論的補助関数を用いる。
• 適応的サブモジュラリティの理論を応用し、相関性・ノイズのあるテスト結果下でも近似的に最適性を保証する。
• 予測誤差の直接最適化を避ける代わりに、構造的依存関係を反映する代理目的関数を最大化する。
• ECEDは、独立したノイズを伴う二値テストを想定しており、性能に関する理論的バインディングを可能にする。
• 経済理論の差別性検証および好み学習タスクにおける理論的分析と実験的評価を通じて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 テスト結果がターゲット変数の下で条件付き依存性を示す状況下でも、ベイジアンアクティブラーニング手法が近似的に最適性を達成できるか。
• RQ2 テストの依存関係を考慮した代替目的関数は、ノイズが存在する状況で、短絡的な情報量最大化より優れた性能を示すか。
• RQ3 ノイズと相関性のあるテスト設定において、適応的サブモジュラリティを活用して理論的保証を得られるか。
• RQ4 実世界のアクティブラーニングタスクにおいて、ECEDはGBS や不確実性サンプリングといったグリーディベースラインと比べてどのように性能を発揮するか。

主な発見

• テスト結果が条件付き依存性とノイズを伴う状況下でも、ECEDは最適方策と比較して近似的に最適な期待コストを達成する。
• 相関性のあるテストとノイズが存在する状況では、ECEDはGBS や不確実性サンプリングといったグリーディヒューリスティクスを顕著に上回る。
• リスクに関する経済理論の区別を目的としたベイジアン実験設計タスクにおいて、ECEDは強力な実験的性能を示した。
• ペアワイズ比較による好み学習タスクでは、ECEDはベースラインより低いクエリコストで競争力のある結果を達成した。
• 理論的分析により、ECEDは個々のテスト選択がターゲットの不確実性を即座に減少させない場合でも、代替目的関数を通じて長期的進捗を達成することが示された。
• 最悪ケース設定では、ECEDと劣化した方策との性能差がΩ(n / log n)に達することがあり、その優位性が顕著に示された。