[論文レビュー] Differentiable Linearized ADMM

Xingyu Xie, Jianlong Wu+3 more|arXiv (Cornell University)|May 15, 2019

DNA and Biological Computing被引用数 26

ひとこと要約

本稿では、古典的LADMMアルゴリズムにインspiredされた、可学習な深層ニューラルネットワークであるDifferentiable Linearized ADMM (D-LADMM)を提案する。この手法は、固定された近位作用素の代わりに微分可能で学習可能な活性化関数を用い、学習可能な重みを用いて線形制約を最適化する。主な貢献は、やや厳しい条件下でも線形収束を保証する厳密な理論的証明であり、実験結果では標準LADMMと比較して収束が早く、性能が優れていることが示された。

ABSTRACT

Recently, a number of learning-based optimization methods that combine data-driven architectures with the classical optimization algorithms have been proposed and explored, showing superior empirical performance in solving various ill-posed inverse problems, but there is still a scarcity of rigorous analysis about the convergence behaviors of learning-based optimization. In particular, most existing analyses are specific to unconstrained problems but cannot apply to the more general cases where some variables of interest are subject to certain constraints. In this paper, we propose Differentiable Linearized ADMM (D-LADMM) for solving the problems with linear constraints. Specifically, D-LADMM is a K-layer LADMM inspired deep neural network, which is obtained by firstly introducing some learnable weights in the classical Linearized ADMM algorithm and then generalizing the proximal operator to some learnable activation function. Notably, we rigorously prove that there exist a set of learnable parameters for D-LADMM to generate globally converged solutions, and we show that those desired parameters can be attained by training D-LADMM in a proper way. To the best of our knowledge, we are the first to provide the convergence analysis for the learning-based optimization method on constrained problems.

研究の動機と目的

• 制約付き最適化問題における学習ベース最適化手法の理論的収束解析の欠如に対処すること。
• 制約の満たし方と収束性を維持したまま、深層学習を活用可能な線形化ADMM（LADMM）の微分可能で学習可能なバージョンを開発すること。
• 最適化層をエンドツーエンドで学習可能にしつつ、古典的LADMMの線形収束レートを保持すること。
• D-LADMMが合成的および実世界の逆問題において、標準LADMMよりも収束速度が速く、性能が優れていることを実証すること。

提案手法

• 古典的LADMMにおける固定された近位作用素を、バックプロパゲーションと学習が可能なニューラルネットワーク構造に置き換える。
• 制約項における固定行列AとBの代わりに学習可能な重みを導入し、トレーニング中にパラメータの適応を可能にする。
• ペナルティパラメータλを、要素ごとに学習可能なパラメータに一般化し、増強ラグランジュアンにおける方向的適応性を可能にする。
• 各層がLADMM更新の1イテレーションに対応するK層の順方向ネットワークを構築し、エンドツーエンド最適化を可能にする。
• 増強ラグランジュアン法を用いて更新ルールを導出し、バックプロパゲーションをサポートする微分可能な演算を実装する。
• タスク固有の損失関数（例：NMSEまたはPSNR）を用いてネットワークをトレーニングし、収束性と性能を保証する最適なパラメータを学習する。

実験結果

リサーチクエスチョン

• RQ1 学習ベース最適化手法が制約付き最適化問題に適用された場合、線形収束を維持できるか？
• RQ2 古典的LADMMアルゴリズムをどのようにして微分可能かつ深層学習でトレーニング可能にし、制約の満たし方を保持できるか？
• RQ3 学習可能なパラメータにどのような条件を課すと、提案されたD-LADMMフレームワークでグローバル収束と線形収束レートが保証されるか？
• RQ4 D-LADMMは、実世界の逆問題において、標準LADMMよりも収束速度と解の品質で優れているか？

主な発見

• D-LADMMはやや厳しい技術的条件下でも線形収束を達成し、収束を保証する学習可能なパラメータが存在することを証明した。
• 提案手法は標準LADMMと比較して著しく高速に収束し、2桁少ないイテレーション数で同等または優れた性能を達成した。
• 画像ノイズ除去の実験では、15層のD-LADMMは150イテレーションでもLADMMと同等または上回るPSNRを達成したが、LADMMが1,500イテレーションを要した。
• 10％のソルトアンドペッパー雑音率の下で、D-LADMMは15層で30.1 dBのPSNRを達成し、LADMMが1,500イテレーションを経てもそれを上回った。
• D-LADMMのトレーニング時間は10,000～20,000サンプルで5～9分であったが、LADMMは12～22分を要し、トレーニングのオーバーヘッドを考慮してもD-LADMMの全体的な効率性が示された。
• D-LADMMの計算量はO((d₁ + d₂)mnKp)であり、Kp ≪ tの条件下でLADMMと同等の性能を達成した。これは、計算上の優位性を裏付けている。