[論文レビュー] Codes supporting "Interior–proximal primal–dual methods"

Tuomo Valkonen|arXiv (Cornell University)|Jun 21, 2017

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、対称コーン上での対数的バリア関数を用いた内点法の前処理を組み込んだ、新しいプライマル・デュアルアルゴリズム、プライマル・ユーグリッド・デュアル・インターリア（PEDI）を提案する。この手法は、デュアルのプロキシマルステップにおける二乗距離を、対称コーン上での対数的バリア関数に置き換えることで、プライマル・ポイント法と内点法の前処理を統合する。第二順序コーン問題に対して線形収束を達成し、一般の対称コーンに対しては $O(1/N)$ の収束を達成する。これは、境界ペナルティを含むバリア関数の強い凸性推定を活用することで実現される。

ABSTRACT

This package contains the codes behind the paper “Interior--proximal primal--dual methods” by T. Valkonen; https://arxiv.org/abs/1706.07067 (Applied Analysis and Optimization <strong>3</strong> (2019), 1–28). The top-level directory contains the specific tests and files to batch-generate the results in the paper. The directory `codes` contains generic algorithm implementations shared between various of my papers. The images under `img/` are from the free Kodak image suite available at http://r0k.us/graphics/kodak/.

研究の動機と目的

• 大規模なサドルポイント問題を解く際の、一次スプリッティング法と内点法の性能格差を埋める。
• 内点法の収束速度を維持しつつ、一次法の取り扱いやすさを保つハイブリッドアルゴリズムの開発。
• 特に第二順序コーンを含む対称コーン制約付き問題において、保証された収束速度（具体的には線形収束）を達成すること。
• デュアルステップにおけるバリア関数に基づく前処理が、標準的な二次的プロキシマル項よりも収束速度とスケーラビリティで優れているかどうかの検討。

提案手法

• サドルポイント問題を、デュアル変数に対する非線形でバリア関数に基づく前処理を施したプロキシマルポイント法に再定式化する。
• 標準的なデュアルプロキシマルステップを、対称コーン $\mathcal{K}$ 上の対数的バリア項 $-\nabla \log \det(y)$ に置き換える一方で、プライマル変数に対してはユーグリッドプロキシマルステップを維持する。
• アルゴリズムは、$0 \in H(u^{i+1}) + M_{i+1}(u^{i+1} - u^i)$ の変分包含形式から導出される。ここで $M_{i+1}$ はバリア関数に基づく前処理を含む。
• 収束レートは、バリア関数の強い凸性推定に境界ペナルティを拡張することで確立される。
• 内点法の部分問題を正確に解くことで、画像ノイズ除去問題（全変動と $H^1$ のノイズ除去）にこの手法を適用する。
• 数値実験では、PEDIをPDHGMおよびデュアルフォワード・バックワード分割法と比較し、収束特性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 プロキシマルポイント法と内点法の原則を統合したハイブリッドプライマル・デュアル法は、標準的一次法よりも高速な収束を達成できるか？
• RQ2 対称コーン上でのデュアルの二次的プロキシマル項を、対数的バリア関数に置き換えることで、収束レートが向上するか？
• RQ3 プライマル関数が強く凸である場合に限っても、第二順序コーン制約付き問題で線形収束が達成可能か？
• RQ4 特に高解像度画像処理応用において、問題サイズの増大に伴うバリア関数に基づく手法の性能スケーリングはいかがなっているか？

主な発見

• PEDI手法は、プライマル関数 $G$ が強く凸である限り、第二順序コーンを含む問題に対して線形収束を達成する。
• 一般の対称コーンに対しては、$O(1/N)$ の収束率を達成し、これは強い凸性のない設定と整合的である。
• 数値結果から、PEDIは $H^1$ のノイズ除去において、PDHGM や Dual FB よりも顕著に優れた性能を示しており、理論的な線形収束レートを反映している。
• 全変動ノイズ除去においては、PEDIは Dual FB よりも収束が遅いが、低解像度および高解像度問題（$10^4$ から $10^6$ 変数）の両方で良好なスケーラビリティを示している。
• アルゴリズムは良好なスケーラビリティを示しており、高解像度問題でも低解像度問題と同等の性能を発揮するため、問題サイズに強く依存しない。
• 理論的分析により、バリア関数に基づく前処理が、改善された収束レートを支える強凸性推定を可能にすることが確認された。