[論文レビュー] Inference Trees: Adaptive Inference with Exploration

Tom Rainforth, Yuan Zhou+5 more|arXiv (Cornell University)|Jun 25, 2018

Advanced Bandit Algorithms Research参考文献 24被引用数 6

ひとこと要約

推論木（ITs）は、パラメータ空間を階層的に分割し、計算リソースを動的に割り当てることで、モンテカルロサンプリングにおける探索と活用のバランスを取る、革新的な適応的推論フレームワークを導入する。逐次的モンテカルロと不確実性を考慮した領域選択を組み合わせることで、特にマルチモーダルな事後分布や統合タスクにおいて一貫性があり、頑健な推定を達成する。標準的なSMCに比べて1,000倍少ないサンプルでも優れた収束性能を示す。

ABSTRACT

We introduce inference trees (ITs), a new class of inference methods that build on ideas from Monte Carlo tree search to perform adaptive sampling in a manner that balances exploration with exploitation, ensures consistency, and alleviates pathologies in existing adaptive methods. ITs adaptively sample from hierarchical partitions of the parameter space, while simultaneously learning these partitions in an online manner. This enables ITs to not only identify regions of high posterior mass, but also maintain uncertainty estimates to track regions where significant posterior mass may have been missed. ITs can be based on any inference method that provides a consistent estimate of the marginal likelihood. They are particularly effective when combined with sequential Monte Carlo, where they capture long-range dependencies and yield improvements beyond proposal adaptation alone.

研究の動機と目的

• 過剰に活用する傾向により、モード崩壊などの病理的現象を引き起こす、従来の適応的モンテカルロ手法の限界を是正すること。
• 不確実性の高い領域の探索と、高い事後密度領域の活用を明示的にバランスさせる、一貫性がありオンラインで適応可能な推論フレームワークを構築すること。
• 標準的手法がすべてのモードを探索できないような、複雑でマルチモーダルな事後分布において、効果的な推論を可能にすること。
• ターゲット関数fが既知の統合設定に適応的推論を拡張し、推定器の効率を向上させること。
• 任意の一貫性のある基本推論手法（特にSMC）を強化できる柔軟なメタアルゴリズムを提供すること。

提案手法

• ITsはオンラインで適応的に、パラメータ空間を互いに素性な領域に階層的に分割し、事後密度推定に基づいて分割を精緻化する。
• 各ノードが領域を表す木構造を採用し、ハイブリッドな活用・探索基準に基づいて計算リソースを割り当てる。
• サンプルの重みに基づく密度推定を用いて、領域に顕著な事後確率質量が含まれる確率を予測する、新しい不確実性を考慮した探索戦略を採用する。
• 主なイノベーションの一つは、モンテカルロ推定値が真の値と比べて桁違いに小さい場合でも、正確に保たれる周辺事後確率質量のロバスト推定器である。
• 任意の一貫性のある推論手法と統合可能であり、実験的評価では逐次的モンテカルロ（SMC）を基本推論エンジンとして用いる。
• 統合タスクでは、分散に基づく活用ターゲットと、サンプリングを誘導するヒューリスティックな探索項を用いて、走査戦略を適応的に変更する。

実験結果

リサーチクエスチョン

• RQ1 明示的に探索を組み込むことで、モード崩壊などの病理的現象に強く、一貫性のある適応的推論手法を構築できるか？
• RQ2 高い事後密度領域と高い不確実性領域の間で、計算リソースを最適に割り当てることは可能か？
• RQ3 階層的分割上のサンプリングを知的に管理することで、任意の一貫性のある推論手法を強化できるメタアルゴリズムを設計できるか？
• RQ4 標準的なSMCやPMMHに比べて、ITsはマルチモーダルな事後分布においてどの程度推論性能を向上させられるか？
• RQ5 関数fが既知で、領域ごとに分散が異なる統合タスクにおいて、ITsのパフォーマンスはどの程度スケーリングするか？

主な発見

• ITsは、特定の分割戦略やリソース割り当て戦略に依存せず、やや厳しい仮定のもとで一貫性のある推定を達成する。
• マルチモーダルな事後分布において、ITsは複数のモードを効果的に探索・同定するが、PMMHは全実行でモード間を移動できない。
• 相関のあるエッジ重みを持つネットワークモデルにおいて、ITsは500個の粒子を用いた標準的なSMCを上回り、1,000倍多くのサンプルを用いたSMCでさえも上回る。
• 統合設定では、ターゲット関数fの一部の領域で変動が大きい場合に特に顕著に、ITsはベースラインSMCよりも速くかつ正確に収束する。
• 不確実性に基づく探索戦略により、周辺尤度推定値が極めて小さい場合でも、正確性を維持するロバストな性能を発揮する。
• 提案された事後確率質量推定器は、経験的尤度と真の尤度の間で著しい乖離がある場合でも、安定的かつ信頼性がある。