[論文レビュー] Proximal Alternating Direction Network: A Globally Converged Deep Unrolling Framework

Risheng Liu, Xin Fan+3 more|arXiv (Cornell University)|Nov 21, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 11

ひとこと要約

この論文は、変分エネルギー関数の臨界点へのグローバル収束を保証する、プロキシマル最適化と学習可能なアーキテクチャを統合した深層アンローリングフレームワーク、Proximal Alternating Direction Network (PADNet) を提案する。ヒューリスティックな深層ネットワークとは異なり、PADNet は弱い条件下でも理論的に収束を保証しつつ、効率的なニューラルモジュールの柔軟な統合を可能にし、タスクの事前知識が部分的にしか得られない場合でも動作する。

ABSTRACT

Deep learning models have gained great success in many real-world applications. However, most existing networks are typically designed in heuristic manners, thus lack of rigorous mathematical principles and derivations. Several recent studies build deep structures by unrolling a particular optimization model that involves task information. Unfortunately, due to the dynamic nature of network parameters, their resultant deep propagation networks do \emph{not} possess the nice convergence property as the original optimization scheme does. This paper provides a novel proximal unrolling framework to establish deep models by integrating experimentally verified network architectures and rich cues of the tasks. More importantly, we \emph{prove in theory} that 1) the propagation generated by our unrolled deep model globally converges to a critical-point of a given variational energy, and 2) the proposed framework is still able to learn priors from training data to generate a convergent propagation even when task information is only partially available. Indeed, these theoretical results are the best we can ask for, unless stronger assumptions are enforced. Extensive experiments on various real-world applications verify the theoretical convergence and demonstrate the effectiveness of designed deep models.

研究の動機と目的

• 逆問題に用いられるヒューリスティックな深層学習モデルに理論的収束保証が欠如しているという問題に対処すること。
• 最適化アルゴリズムの収束特性を継承しつつ、柔軟で実験的に有効なニューラルコンポonentを組み込める深層ネットワークアーキテクチャを開発すること。
• 最適化式において、たとえば部分的な事前知識（部分的な事前分布）しか得られない状況でも収束が保証されることを可能にすること。
• 忠実度項と正則化項の具体的な関数形に依存しない、一貫した理論的基盤に基づくフレームワークとして、さまざまな最適化ベースの深層ネットワークを統合すること。

提案手法

• 一般化された変分エネルギー最小化問題に適用されたプロキシマル交替方向乗数法（ADMM）スキームをアンロールするフレームワーク。
• 元の最適化モデルの構造と微分可能なニューラルモジュールを組み合わせた、学習可能なプロキシマル演算子を導入する。
• 変数分割を用いて忠実度項と正則化項を分離する三ブロックADMM定式化を採用し、モジュラーな設計を可能にする。
• ネットワークアーキテクチャは、プロキシマルADMMの反復ステップをアンロールすることで構築され、各レイヤーが1回の反復に対応し、学習可能なパラメータを有する。
• リャプノフ型解析を用いて収束を証明し、半代数的エネルギー関数を含む弱い仮定のもとで、反復列が臨界点に収束することを示す。
• 有界性およびリプシッツ条件を満たす限り、標準的な深層学習コンポーネント（例：ReLU、BatchNorm）を理論的収束保証のもとで統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ネットワークパラメータが学習可能であっても、変分エネルギー関数の臨界点へのグローバル収束を保証できるような深層アンローリングフレームワークを設計できるか？
• RQ2 理論的収束を維持しつつ、柔軟で実験的に成功した深層アーキテクチャを最適化ベースの深層ネットワークに統合する方法は何か？
• RQ3 訓練時に部分的なタスク情報（例：部分的な事前知識）しか得られない場合でも、収束は保証されるか？
• RQ4 エネルギー関数における忠実度項と正則化項の具体的な関数形に依存しないフレームワークを構築できるか？

主な発見

• 提案されたPADNetは、半代数的関数のKurdyka-Łojasiewicz性質を含む弱い仮定のもとで、変分エネルギー関数の臨界点へのグローバル収束を保証する。
• PADNetが生成するネットワーク出力の系列はコーシー列を形成し、動的で学習可能なパラメータが存在しても固定点への収束を保証する。
• 正則化項が未知または部分的に指定されている場合でも、フレームワークは収束を維持し、データから学習しつつ理論的保証を保持できる。
• 実世界の応用における広範な実験により、理論的収束性と最先端の性能が両立されていることが実証され、フレームワークの有効性が裏付けられた。
• 理論的解析により、ReLU や BatchNorm などの標準的な深層学習コンポーネントを統合しても収束性が保たれることを示したが、その条件として有界性およびリプシッツ条件を満たす必要がある。