[論文レビュー] Unifying abstract inexact convergence theorems for descent methods and block coordinate variable metric iPiano

Peter Ochs|arXiv (Cornell University)|Feb 23, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用数 4

ひとこと要約

本稿では、相対誤差を考慮する unified な抽象的収束定理を、滑らかでない・凸でない関数が Kurdyka–Łojasiewicz 不等式を満たす場合にまで拡張することで、iPiano のブロック座標・可変メトリクス変種の収束を確立し、Mumford–Shah に類似した正則化を伴う画像インpainting への有効性を示している。

ABSTRACT

An abstract convergence theorem for a class of descent method that explicitly models relative errors is proved. The convergence theorem generalizes and unifies several recent abstract convergence theorems, and is applicable to possibly non-smooth and non-convex lower semi-continuous functions that satisfy the Kurdyka--{\L}ojasiewicz inequality, which comprises a huge class of problems. The descent property is measured with respect to a function that is allowed to change along the iterations, which makes block coordinate and variable metric methods amenable to the abstract convergence theorem. As a particularly algorithm, the convergence of a block coordinate variable metric version of iPiano (an inertial forward--backward splitting algorithm) is proved. The newly introduced algorithms perform favorable on an inpainting problem with a Mumford--Shah-like regularization from image processing.

研究の動機と目的

• 相対誤差を明示的にモデル化する統一的枠組みのもとで、最近の降下法の抽象的収束定理を統合すること。
• 滑らかでない・凸でない下半連続関数が Kurdyka–Łojasiewicz 不等式を満たす場合にまで収束保証を拡張すること。
• 収束解析に、変動する降下関数およびブロック座標更新を組み込むこと。
• 新規のブロック座標・可変メトリクス変種の iPiano アルゴリズムの収束を確立すること。
• Mumford–Shah に類似した正則化を伴う、挑戦的な画像インpainting 問題における提案手法の実用的有効性を示すこと。

提案手法

• 降下ステップにおける相対誤差をモデル化する抽象的収束定理を構築し、反復ごとに変動する降下関数を許容する。
• 各反復で降下関数を変更可能とする枠組みを導入し、ブロック座標および可変メトリクス手法への応用を可能にする。
• iPiano（インertial forward–backward スキーム）のブロック座標・可変メトリクス拡張に、抽象的定理を適用する。
• Kurdyka–Łojasiewicz 不等式を、非凸関数の広いクラスにおける収束を保証する主要な構造的仮定として用いる。
• 適応的メトリクス選択とブロック更新を組み合わせたインertial forward–backward スキームを用いて、収束特性を向上させる。
• Mumford–Shah に類似した正則化を伴う画像インpainting 問題に対してアルゴリズムを検証し、実用的性能を示す。

実験結果

リサーチクエスチョン

• RQ1 一様な抽象的収束定理が、相対誤差モデリングを伴う不正確な降下法の既存結果を統合できるか？
• RQ2 収束枠組みが、Kurdyka–Łojasiewicz 不等式を満たす滑らかでない・凸でない関数にどの程度まで拡張可能か？
• RQ3 原理的かつ整合的な方法で、変動する降下関数およびブロック座標更新をフレームワークに組み込めるか？
• RQ4 提案されたブロック座標・可変メトリクス変種の iPiano が、抽象的定理のもとで収束するか？
• RQ5 提案されたアルゴリズムは、複雑な正則化を伴う画像インpainting といった実世界問題において、どの程度の性能を示すか？

主な発見

• 抽象的収束定理は、不正確な降下法に関する最近の複数の収束結果を一般化・統合している。
• 滑らかでない・非凸関数が Kurdyka–Łojasiewicz 不等式を満たす場合に収束が保証され、広範かつ広く適用可能な条件である。
• 変動する降下関数をサポートするため、ブロック座標および可変メトリクス手法に適している。
• ブロック座標・可変メトリクス変種の iPiano は、提案された抽象的枠組みのもとで収束が証明された。
• Mumford–Shah に類似した正則化を伴う画像インpainting において、良好な性能を示しており、実用的関連性が裏付けられた。
• 理論的枠組みにより、非凸最適化におけるインエラシャルおよび適応的メトリクス戦略の体系的分析が可能になった。