[論文レビュー] Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions

Alina Ene, Huy L. Nguyên|arXiv (Cornell University)|Feb 9, 2015

Complexity and Algorithms in Graphs参考文献 18被引用数 12

ひとこと要約

本稿では、分解可能で部分的でない関数の最小化のためのランダム座標降下法（RCDM および ACDM）を提案し、反復投影法よりも高速な線形収束と低い反復コストを達成している。関数の分解における個々の成分に対するランダム更新を活用することで、全次元の演算に依存するのを減らし、特に画像セグメンテーションタスクにおいて実用的に著しく高速に収束する。

ABSTRACT

Submodular function minimization is a fundamental optimization problem that arises in several applications in machine learning and computer vision. The problem is known to be solvable in polynomial time, but general purpose algorithms have high running times and are unsuitable for large-scale problems. Recent work have used convex optimization techniques to obtain very practical algorithms for minimizing functions that are sums of ``simple" functions. In this paper, we use random coordinate descent methods to obtain algorithms with faster linear convergence rates and cheaper iteration costs. Compared to alternating projection methods, our algorithms do not rely on full-dimensional vector operations and they converge in significantly fewer iterations.

研究の動機と目的

• 機械学習およびコンピュータビジョン分野における大規模な部分的でない関数最小化のための、より高速でスケーラブルなアルゴリズムの必要性に対応する。
• 関数の分解可能構造を活用することで、一般用途の部分的でない関数最小化アルゴリズムの高い実行時間の課題を克服する。
• 既存の反復投影技術よりも収束速度と計算コストの両面で優れる、効率的な最適化手法を開発する。
• 分解可能で部分的でない関数の文脈におけるランダム座標降下の線形収束レートに関する理論的保証を提供する。
• データサイズと複雑さが急速に増加する現実世界の応用、例えば画像セグメンテーションに適した実用的アルゴリズムを設計する。

提案手法

• 共通空間 A と基本ポリトープの積 Y 間の距離最小化として、分解可能で部分的でない関数最小化問題を定式化する。
• ランダム座標降下（RCDM）を適用し、{1, ..., r} からランダムにブロック i を選択し、双対変数をベースポリトープ B(F_i) に射影することで更新する。
• モーメンタムに類似した更新を組み込んだ加速版（ACDM）を用い、反復回数を減らして収束速度を向上させる。
• 各単純関数 F_i に対して F_i + w の最小化をブラックボックスオラクルとして利用し、全次元ベクトル計算を避けて効率的な射影操作を実現する。
• 各成分に対して双対変数 y^(i) を維持し、ランダム射影により更新する。プライマル解は x = -∑y^(i) として再構成される。
• 滑らかでない双対ギャップ（ν_s）と離散的双対ギャップ（ν_d）の両方を用いて収束を測定し、最適性のタイトな境界を提供するとともに、進行状況の監視を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダム座標降下法は、分解可能で部分的でない関数最小化において、反復投影法よりも高速に収束することができるか？
• RQ2 この設定におけるランダム座標降下の理論的収束レートは何か？ また、既存の手法と比較してどうなるか？
• RQ3 座標降下法の反復コストは、特に1反復あたりの基本ポリトープ射影回数の観点から、反復投影法と比べてどうなるか？
• RQ4 加速されたランダム座標降下法は、実際の収束に必要な反復回数をさらに削減できるか？
• RQ5 これらの手法は、最先端の反復投影アルゴリズムと比較して、現実の画像セグメンテーションタスクでどのように性能を発揮するか？

主な発見

• 提案されたランダム座標降下法（RCDM）は、線形収束レートを達成しており、反復投影法と同等の理論的性能を示すが、はるかに低い反復コストを実現している。
• 加速座標降下法（ACDM）は、反復投影（AP）法よりもはるかに少ない反復回数で収束し、実用的な性能が優れていることが示された。
• RCDM および ACDM は、1反復あたり1回の射影しか必要としないが、AP は1反復あたり r 回の射影を要するため、新しい手法は r 倍速くなる。
• 画像セグメンテーションタスクにおいて、ACDM は図5の双対ギャッププロットが示すように、AP よりもはるかに高速に収束する。全テストインスタンスで最も速い収束が観察された。
• 滑らかでない双対ギャップ（ν_s）と離散的双対ギャップ（ν_d）は、ACDM および RCDM において滑らかにかつ急速に減少し、強力な収束行動とタイトな最適性境界を示している。
• 実験的結果から、これらのアルゴリズムは理論的にも妥当であり、現実のデータにおいて AP を上回るスピードと収束速度を発揮することが確認された。