[論文レビュー] Toward Designing Convergent Deep Operator Splitting Methods for Task-specific Nonconvex Optimization

Risheng Liu, Shichao Cheng+3 more|arXiv (Cornell University)|Apr 28, 2018

Sparse and Compressive Sensing Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、タスク固有の非凸最適化のための従来のオペレータ分割法に学習可能なニューラルネットワークを統合する、学習可能なブレグマン分割（LBS）を提案する。Bregman距離に基づく反復スキーム内でデータ駆動型更新を活用することで、LBSは自明な解を避けるとともに、グローバル収束を保証し、収束速度を向上させ、画像のぼかし除去および穴埋めタスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Operator splitting methods have been successfully used in computational sciences, statistics, learning and vision areas to reduce complex problems into a series of simpler subproblems. However, prevalent splitting schemes are mostly established only based on the mathematical properties of some general optimization models. So it is a laborious process and often requires many iterations of ideation and validation to obtain practical and task-specific optimal solutions, especially for nonconvex problems in real-world scenarios. To break through the above limits, we introduce a new algorithmic framework, called Learnable Bregman Splitting (LBS), to perform deep-architecture-based operator splitting for nonconvex optimization based on specific task model. Thanks to the data-dependent (i.e., learnable) nature, our LBS can not only speed up the convergence, but also avoid unwanted trivial solutions for real-world tasks. Though with inexact deep iterations, we can still establish the global convergence and estimate the asymptotic convergence rate of LBS only by enforcing some fairly loose assumptions. Extensive experiments on different applications (e.g., image completion and deblurring) verify our theoretical results and show the superiority of LBS against existing methods.

研究の動機と目的

• 固定された更新ルールが鞍点や自明な解を回避できない非凸で現実的（リアルワールド）な最適化タスクにおいて、従来のオペレータ分割法の限界に対処すること。
• 理論的に収束する最適化スキームと、収束保証のないデータ駆動型深層学習手法の間のギャップを埋めること。
• 理論的収束性を維持しながら、深層アーキテクチャを用いてデータパターンに適応する、学習可能でタスク固有のオペレータ分割フレームワークを開発すること。
• モデルベースとデータ駆動型のオペレータを統合することで、画像修復タスク（ぼかし除去や穴埋めなど）における収束速度の向上と解の質の向上を実現すること。

提案手法

• LBSは、各反復で変数をペナルティ化するBregman距離に基づく緩和を導入し、安定性と収束性を確保する。
• 緩和されたKrasnoselskii-Mann反復フレームワークを採用することで、モデルベースとデータ駆動型の両成分の更新ルールを統合する。
• タスク固有の正則化、データ依存の深層ネットワーク、およびプロキシマルオペレータを1つの最適化ループに統合する、新しい三重オペレータ分割戦略を提案する。
• 弱い仮定のもとで、非正確な深層反復を許容しても、依然としてグローバル収束を保証する。
• 複数の変数を含むブロック構造的非凸最適化問題に再定式化することで、画像修復問題にアルゴリズムを適用する。
• 実データを用いたエンドツーエンドのトレーニングをサポートし、ネットワークが特定のタスクに最適な反復ダイナミクスを学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化において、データ駆動型学習を統合しながらもグローバル収束を維持できる深層オペレータ分割フレームワークを設計できるか？
• RQ2 古典的なオペレータ分割スキームに学習可能なコンponentsを統合する際、理論的収束保証を失わずに行えるか？
• RQ3 提案手法は、画像修復タスクにおける定量的指標と定性的な結果の両面で、既存の学習ベース最適化アルゴリズムを上回ることができるか？
• RQ4 データ依存の学習が、非凸問題における自明または部分的最適解の回避に与える影響は何か？

主な発見

• LBSはSunらのベンチマークでPSNR 32.90、SSIM 0.90を達成し、IRCNN、FDN、PADNetを含むすべての比較手法を上回った。
• 定性的なぼかし除去結果において、LBSは他の手法がPSNRを上回っても、テキストや窓の縁といった微細なディテールをより明確に復元した。
• LBSのすべてのブロックにおける反復誤差は急速に減少し、画像変数の再構成誤差はlog(10^-4)未満に低下した。
• 反復曲線から明らかになったように、LBSは全ブロックで変数誤差と再構成誤差の両方が著しく減少し、安定した収束を示した。
• 非正確な深層反復を用いても、LBSはグローバル収束を維持し、弱い仮定のもとで漸近的収束速度の推定値を提供した。
• データ依存の学習メカニズムのおかげで、LBSは画像穴埋めおよびぼかし除去タスクで望ましくない自明な解を効果的に回避した。