[論文レビュー] Relative Interior Rule in Block-Coordinate Minimization

Tomáš Werner, Daniel Průša|arXiv (Cornell University)|Oct 21, 2019

Advanced Numerical Analysis Techniques参考文献 10被引用数 4

ひとこと要約

本稿では、ブロック座標最小化における相対的内部ルールを提案し、各反復において、現在のブロックにおける最適解集合の相対的内部から最小化子が選ばれることを保証する。主な貢献は、このルールに従う手法が、他のいかなるブロック座標法よりも悪い性能を示さないことを証明することである。すなわち、収束行動が維持または向上し、劣悪な点に停滞することを回避し、緩い条件下でも内部局所最小値への収束を保証する。

ABSTRACT

(Block-)coordinate minimization is an iterative optimization method which in every iteration finds a global minimum of the objective over a variable or a subset of variables, while keeping the remaining variables constant. While for some problems, coordinate minimization converges to a global minimum (e.g., convex differentiable objective), for general (non-differentiable) convex problems this may not be the case. Despite this drawback, (block-)coordinate minimization can be an acceptable option for large-scale non-differentiable convex problems; an example is methods to solve the linear programming relaxation of the discrete energy minimization problem (MAP inference in graphical models). When block-coordinate minimization is applied to a general convex problem, in every iteration the minimizer over the current coordinate block need not be unique and therefore a single minimizer must be chosen. We propose that this minimizer be chosen from the relative interior of the set of all minimizers over the current block. We show that this rule is not worse, in a certain precise sense, than any other rule.

研究の動機と目的

• 座標ブロック上での最小化子の一意でない性質に起因する、ブロック座標最小化法の不安定性と劣悪な収束を是正すること。
• 収束品質とロバスト性を向上させる、最小化子選択の原理的ルールを形式化すること。
• 最小化子を最適解集合の相対的内部から選ぶことで、任意の最小化子選択と比較して優れたか、同等の性能を達成できることを証明すること。
• このような手法が、悪い局所最小値に閉じ込められることを回避し、より優れた解へ収束することを理論的に保証すること。

提案手法

• 局所最小値の内部版を定義する。これは、各ブロックにおける最小化子が最適解集合の相対的内部にある点として定義される。
• 任意の最小化子を選択する標準的なブロック座標最小化を、最小化子集合の相対的内部から常に選ぶルールに置き換える。
• 目的関数の上位集合表現を用い、探索空間を関数値を含むように拡張することで、凸幾何学的手法による解析を可能にする。
• 相対的内部ルールに従い、有限ステップで内部局所最小値に到達する点を、事前内部局所最小値と定義する。
• 更新式 $ x_{n+1} \triangleq \text{ri}(M(X \bigcap (x_n + I_n), f)) $ を用いて相対的内部ルールを適用し、ロバスト性とより優れた解への収束を保証する。
• 持ち上げられた部分空間 $ \bar{I} = I \times \mathbb{R} $ において、元の空間における局所最小値と上位集合空間における局所最小値が等価であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標最小化における最小化子選択に、原理的ルールを導入することで、収束品質の向上と悪い局所最小値への陥落回避が可能か？
• RQ2 最適解集合の相対的内部から最小化子を選択することで、任意選択と比較して、より良いか、少なくとも同等の収束行動が得られるか？
• RQ3 相対的内部ルール下で、事前内部局所最小値と内部局所最小値の関係は何か？
• RQ4 標準的なブロック座標法と比較して、相対的内部ルールは収束性および目的関数値の改善において、どのように異なるか？

主な発見

• 相対的内部ルールに従って生成される任意の列は、目的関数値を維持または改善する。初期点が事前内部局所最小値であれば、有限ステップで内部局所最小値に到達する。
• 初期点が事前内部局所最小値でない場合、有限ステップ後に目的関数値が厳密に減少し、進捗が保証される。
• 相対的内部ルールは、内部局所最小値に到達した後も、その後の反復でその点が保持されることを保証する。
• この手法は、任意の最小化子選択に比べて、劣悪な性能を示さない。すなわち、他のブロック座標最小化法が達成可能な最良の結果を維持または上回る。
• 上位集合の再定式化は、局所最小値の構造を保ち、相対的内部ルールは、上位集合の最小化子集合の相対的内部に点を選び出すことに正確に対応する。
• Max-sum diffusion は相対的内部ルールを満たし、本手法はその優れた経験的性能を一般化し、理論的裏付けを与える。