[論文レビュー] On the Convergence of Bound Optimization Algorithms

Ruslan Salakhutdinov, Sam T. Roweis+1 more|arXiv (Cornell University)|Oct 19, 2012

Face and Expression Recognition参考文献 10被引用数 55

ひとこと要約

この論文は、EM、CCCP、反復スケーリングなどのバウンド最適化アルゴリズムを分析し、特定の条件下では準ニュートン法に類似した挙動を示すことが判明した一方で、それ以外の場合は一次順法に類似した遅い収束を示すことを示している。理論的洞察と事前処理技術を提供し、実データセットを用いた実証的検証により、実際の収束速度が著しく向上することを示している。

ABSTRACT

Many practitioners who use the EM algorithm complain that it is sometimes slow. When does this happen, and what can be done about it? In this paper, we study the general class of bound optimization algorithms - including Expectation-Maximization, Iterative Scaling and CCCP - and their relationship to direct optimization algorithms such as gradient-based methods for parameter learning. We derive a general relationship between the updates performed by bound optimization methods and those of gradient and second-order methods and identify analytic conditions under which bound optimization algorithms exhibit quasi-Newton behavior, and conditions under which they possess poor, first-order convergence. Based on this analysis, we consider several specific algorithms, interpret and analyze their convergence properties and provide some recipes for preprocessing input to these algorithms to yield faster convergence behavior. We report empirical results supporting our analysis and showing that simple data preprocessing can result in dramatically improved performance of bound optimizers in practice.

研究の動機と目的

• なぜバウンド最適化アルゴリズム（例：EM）が実際の応用でしばしば遅いのかを理解すること。
• バウンド最適化と勾配ベースまたは2次最適化法との間の理論的関連を確立すること。
• バウンド最適化が高速（準ニュートン）または遅速（一次順）収束を示す解析的条件を特定すること。
• これらのアルゴリズムの収束行動を改善する実用的な事前処理戦略を開発すること。
• 理論的分析の妥当性を実世界の応用において実証的に検証し、性能向上を示すこと。

提案手法

• バウンド最適化の更新と勾配法およびニュートン型手法の更新との間の一般的な関係を導出する。
• バウンド関数のヘッセ行列を分析し、バウンド最適化がいつ準ニュートン法に類似した挙動を示すかを特定する。
• 収束速度を決定するバウンド関数の曲率に関する条件を同定する。
• ヘッセ行列の構造に基づいたデータ事前処理技術（例：スケーリングや前処理）を提案し、収束を改善する。
• EM、CCCP、反復スケーリングを同じ理論的枠組みで統一的に分析する。
• 実データセットを用いて、事前処理の影響が収束速度に与える影響を実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 バウンド最適化アルゴリズムがいつ高速に収束し、準ニュートン法に類似した挙動を示すのか。
• RQ2 いつ遅く収束し、一次順勾配法に類似した挙動を示すのか。
• RQ3 バウンド関数のヘッセ行列をどのようにして収束行動の予測や改善に活用できるか。
• RQ4 入力データに適用可能な、バウンド最適化の収束を加速する事前処理技術は何か。
• RQ5 これらの事前処理手法は実際の応用でどの程度性能を向上させるか。

主な発見

• バウンド関数のヘッセ行列が良好に条件付けられている場合、バウンド最適化アルゴリズムは準ニュートン法に類似した挙動を示し、高速収束を達成する。
• ヘッセ行列が悪条件または平坦な場合、収束は一次順法に還元され、遅い収束を示す。
• 特徴量を単位分散にスケーリングするなど、単純なデータ事前処理により、収束速度が著しく向上することが、実証的評価で示された。
• 理論的枠組みは、EM や CCCP を含むさまざまなアルゴリズムにおける収束行動をうまく予測できた。
• 実証的結果から、事前処理により一部のケースで反復回数が最大で1桁減少することが示された。
• 本分析により、実際の応用でバウンド最適化アルゴリズムの収束を診断・改善するための原則的かつ体系的な手法が提供された。