[論文レビュー] The OS* Algorithm: a Joint Approach to Exact Optimization and Sampling

Marc Dymetman, Guillaume Bouchard+1 more|arXiv (Cornell University)|Jul 3, 2012

Machine Learning and Algorithms参考文献 19被引用数 9

ひとこと要約

OS*アルゴリズムは、失敗したサンプルを用いて、ターゲット分布の関数的上界を段階的に改善することで、正確な最適化とサンプリングを統合する。これは、再帰的反復型の上界の最適化とA*-スタイルの探索を組み合わせており、HMM やグラフィカルモデルなどの高次元モデルにおいて、ベースライン手法と比較して最大10倍の高速化を達成する。

ABSTRACT

Most current sampling algorithms for high-dimensional distributions are based on MCMC techniques and are approximate in the sense that they are valid only asymptotically. Rejection sampling, on the other hand, produces valid samples, but is unrealistically slow in high-dimension spaces. The OS* algorithm that we propose is a unified approach to exact optimization and sampling, based on incremental refinements of a functional upper bound, which combines ideas of adaptive rejection sampling and of A* optimization search. We show that the choice of the refinement can be done in a way that ensures tractability in high-dimension spaces, and we present first experiments in two different settings: inference in high-order HMMs and in large discrete graphical models.

研究の動機と目的

• 高次元分布における標準的なMCMCサンプリング（漸近的に有効）と、高次元で遅い反復的サンプリングの非効率性に対処する。
• 正確な最適化と正確なサンプリングを、共通の関数的上界形式の下で双対問題として扱う統一フレームワークを開発する。
• 失敗したサンプルからの証拠を用いて動的にプロポーザルの上界を改善することで、HMM や大規模な離散グラフィカルモデルのような高次のモデルにおける tractable 推論を可能にする。
• 全体の最適化による改善に依存せず、局所的で適応的な改善に基づいて、反復的サンプリングの受容率を向上させる。

提案手法

• 未正規化ターゲット密度 $ p $ を上回るプロポーザル分布 $ q $ を使用し、正確なサンプルを得られるように反復的サンプリングを可能にする。
• 各反復で失敗したサンプル $ x $ におけるギャップ $ q(x) - p(x) $ が示すソフト制約を特定し、それを $ q $ に組み込んで $ q' $ を形成することで、$ q $ を適応的に改善する。
• サンプリングでは上界 $ q $ の $ L_1 $-ノルムを最小化することで受容率を向上させる。最適化では最大値の上界を改善するため、$ L_\infty $-ノルムを最小化する。
• 各改善ステップで、$ q $ に対する動的計画法または低複雑度の推論手順を活用し、効率的にサンプリングまたは最大化を実行する。
• 反復履歴を用いて改善を誘導する：$ q $ が緩い領域を優先的に改善することで、改善が効果的かつ計算的に効率的になるようにする。
• サンプル $ n $ 点の期待所要時間を $ \hat{\tau}^{\textrm{tot}}_{T} = \frac{n\tau_{T}^{\textrm{samp}}}{\hat{\pi}_{T}} + \tau_{T}^{\textrm{ref}} $ で推定し、改善の適応的停止を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関数的上界を用いて、正確な最適化と正確なサンプリングを統合する単一のアルゴリズムは可能か？
• RQ2 正確性を損なわず、高次元空間でも効率的な反復的サンプリングは可能か？
• RQ3 全候補の $ L_p $-ノルム最適化に依存せず、失敗したサンプルを用いてプロポーザル上界の適応的改善を、より効果的に実現できるか？
• RQ4 改善戦略が高次元モデルにおける合計計算時間に与える影響は何か？
• RQ5 OS*フレームワークは、高次のHMMや大規模なグラフィカルモデルにおける正確なデコード性能を、最先端水準にまで引き上げられるか？

主な発見

• OS*アルゴリズムは、失敗したサンプルに基づく適応的改善のおかげで、大規模な離散グラフィカルモデルからのサンプリングにおいて、ベースライン手法と比較して最大10倍の高速化を達成した。
• 失敗点でのみ改善を行う方針（方針ii）が、全候補の $ L_p $-ノルム最適化に基づく戦略よりも、合計計算時間を最適化し、優れた性能を示した。
• 受容率が最も高い方針（iv）は、方針（ii）よりも合計所要時間が長く、改善コストが無視できない場合、1ステップあたりの受容率を最大化することが、全体の最適化には非効率であることを示した。
• n-gram確率に対する変数順序の最大バックオフ上界により、高次のHMMにおける正確なデコード性能が最先端水準に達した。
• 動的計画法による $ L_1 $-ノルム（サンプリング）と $ L_\infty $-ノルム（最適化）の両方の改善が可能な統一フレームワークを提供しており、両方のタスクをサポートする。
• 特に高次元空間においては、すべての1ステップの改善候補を評価するのではなく、失敗した点に基づく適応的改善が、計算的により魅力的であることが示された。