[論文レビュー] On Exploration, Exploitation and Learning in Adaptive Importance Sampling

Xiaoyu Lu, Tom Rainforth+3 more|arXiv (Cornell University)|Oct 31, 2018

Advanced Bandit Algorithms Research参考文献 23被引用数 4

ひとこと要約

本稿では、バンディット理論にインspiredされた上界信頼区間を用いて、探索と活用のバランスをとるパーティションベースの適応的最重要度サンプリングアルゴリズムDaiseeを提案する。累積擬似リグレットは$ olimits\mathcal{O}(\sqrt{T}(\log T)^{3/4})$を達成する。さらに、パーティショニング構造を適応的に学習する階層的拡張であるHiDaiseeを導入し、複雑な標本分布におけるサンプリング効率と実験的性能を向上させる。

ABSTRACT

We study adaptive importance sampling (AIS) as an online learning problem and argue for the importance of the trade-off between exploration and exploitation in this adaptation. Borrowing ideas from the bandits literature, we propose Daisee, a partition-based AIS algorithm. We further introduce a notion of regret for AIS and show that Daisee has $\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$ cumulative pseudo-regret, where $T$ is the number of iterations. We then extend Daisee to adaptively learn a hierarchical partitioning of the sample space for more efficient sampling and confirm the performance of both algorithms empirically.

研究の動機と目的

• 適応的最重要度サンプリング（AIS）を、明示的な探索と活用のトレードオフを伴うオンライン学習問題として形式化すること。
• 特に上界信頼区間（UCB）原理を応用することで、マルチアームバンディット理論を借用し、リグレットを最小化するAISアルゴリズムを開発すること。
• サンプル空間の階層的パーティショニングを動的に学習することで、効率性と正確性を向上させる手法への拡張。
• Kullback-Leibler（KL）ダイバージェンスと$\alpha$-ダイバージェンスの両方の測度において、提案手法の理論的リグレットバウンドを提供すること。
• 高次元および歪んだ密度を含む挑戦的な標本分布において、DaiseeとHiDaiseeの性能を実験的に検証すること。

提案手法

• Daiseeはサンプル空間を$K$個の互いに素な部分集合に分割し、これらのパーティション上に提案分布を維持する。
• 推定された標本密度に基づく活用と、推定の不確実性を反映する信頼区間による探索の両立を図る、UCB風の「不確実性への楽観主義」戦略を採用する。
• 推定値の分散に基づいて導出される探索ボーナスと、経験的最重要度加重の組み合わせにより、提案重みを更新する。
• 累積擬似リグレットは、提案分布と標本分布の間のKullback-Leibler（KL）ダイバージェンスを損失関数として分析する。
• HiDaiseeは、木構造におけるノードの再帰的分割を通じて、オンラインでパーティショニング構造を学習することでDaiseeを拡張する。分割は有効サンプルサイズ（ESS）と停止基準に従って制御される。
• 木構造により、各サンプリングのコストを$\mathcal{O}(\log K)$にまで削減でき、$\mathcal{O}(K)$のコストから解放される。これは、木の上位ノードに推定値を伝搬することで実現される。

実験結果

リサーチクエスチョン

• RQ1 適応的最重要度サンプリングにおける探索と活用のトレードオフは、オンライン学習の原則を用いて形式化・最適化可能か？
• RQ2 KLダイバージェンス損失の下で、適応的最重要度サンプリングの理論的リグレットバウンドはどのように確立できるか？
• RQ3 階層的パーティショニングは、適応的最重要度サンプリングの効率性と正確性をどのように向上させるか？
• RQ4 事前の知識なしに、標本密度の複雑さに応じてパーティショニングを動的に適応可能か？
• RQ5 収束速度と推定正確性の観点から、HiDaiseeは既存手法と比較してどのように性能を発揮するか？

主な発見

• Daiseeは累積擬似リグレットを$\mathcal{O}(\sqrt{T} (\log T)^{3/4})$に達成し、反復あたりのリグレットが時間とともに減少することを示している。
• このリグレットバウンドは弱い仮定のもとで成立し、$\alpha$-ダイバージェンス測度へも拡張可能であり、$\alpha=2$の場合は最重要度加重の分散に対応する。
• 不連続かつ非平坦領域を有する1次元の標本分布において、HiDaiseeは初期収束が遅いものの、最終的なKL損失においてDaiseeを上回る性能を示した。
• HiDaiseeの階層的構造は自己最適化され、平坦で低密度の領域では分割を停止し、高密度で非一様な領域では継続的に分割を実行する。
• 2次元のバナナ型の標本分布において、HiDaiseeは特にサンプル数が多く、階層構造が複雑な場合にPI-MAISよりも低い二乗誤差を達成した。
• HiDaiseeにおけるパーティション数は、推定正確性と計算コストの両立を図る安定的で最適な構造に収束する。