[論文レビュー] L p -Norm Constrained Coding With Frank-Wolfe Network.

Ke Sun, Zhangyang Wang+2 more|arXiv (Cornell University)|Feb 28, 2018

Sparse and Compressive Sensing Techniques参考文献 81被引用数 1

ひとこと要約

本稿では、$L_p$-ノルム制約付き符号化を解くためにフランク＝ウォルフ・アルゴリズムをアンロールした、フレンク＝ウォルフ・ネットワーク（F-W Net）という深層学習アーキテクチャを提案する。$pool_p$ユニットと呼ばれる学習可能なユニットを導入し、ポーリング、活性化関数、正規化を一般化する。F-W Netは、$p$-ノルムパラメータのエンドツーエンド学習を可能にすることで、画像ノイズ除去（BSD-68）において2 dB以上の性能向上を達成し、最先端性能を実現した。

ABSTRACT

We investigate the problem of $L_p$-norm constrained coding, i.e. converting signal into code that lies inside the $L_p$-ball and most faithfully reconstructs the signal. While previous works known as sparse coding have addressed the cases of $\ell_0$ norm and $L_1$-norm, more general cases with other $p$ values, especially with unknown $p$, remain a difficulty. We propose the Frank-Wolfe Network (F-W Net), whose architecture is inspired by unrolling and truncating the Frank-Wolfe algorithm for solving an $L_p$-norm constrained problem. We show that the Frank-Wolfe solver for the $L_p$-norm constraint leads to a novel closed-form nonlinear unit, which is parameterized by $p$ and termed $pool_p$. The $pool_p$ unit links the conventional pooling, activation, and normalization operations, making F-W Net distinct from existing deep models either heuristically designed or converted from projection gradient descent or proximal algorithms. We further show that the hyper-parameter $p$ can be made learnable instead of pre-chosen in F-W Net, which gracefully solves the $L_p$-norm constrained coding problem with unknown $p$. A convolutional extension of F-W Net is then presented. We evaluate the performance of F-W Net on an extensive range of simulations to show the strong learning capability of F-W Net. We then adopt F-W Net or Convolutional F-W Net on a series of real-data tasks that are all formulated as $L_p$-norm constrained coding, including image classification, image denoising, and super-resolution, where F-W Net all demonstrates impressive effectiveness, flexibility, and robustness. In particular, F-W Net achieves significantly better performance than the state-of-the-art convolutional networks on image denoising, leading to more than 2 dB gain on the BSD-68 dataset.

研究の動機と目的

• 一般の$p$に対して$L_p$-ノルム制約付き符号化の課題に取り組むこと、特に$p$が未知である場合に焦点を当てる。
• ヒューリスティックな設計に依存せずに、自然に$L_p$-ノルム制約を組み込むことができる深層ニューラルネットワークアーキテクチャの開発。
• ネットワーク内での$p$-ノルムパラメータのエンドツーエンド学習を可能にし、データ駆動型の最適$p$値に適応すること。
• 実世界の画像修復タスクに適した空間的構造を持つデータを想定した畳み込み設定へのフレームワークの拡張。
• 画像ノイズ除去、超解像、分類を含む、多様な$L_p$-制約付きタスクにおける優れた性能を示すこと。

提案手法

• フランク＝ウォルフ・アルゴリズムをアンロール・切断し、$L_p$-ノルム制約付き最適化のための微分可能で反復的なネットワークアーキテクチャを導出する。
• $pool_p$ユニットを導入し、$p$によってパラメータ化された閉形式の非線形活性化関数として、ポーリング、正規化、非線形性を一般化する。
• F-W Netと呼ばれるフレンク＝ウォルフ・ネットワークを構築するために、$pool_p$ユニットを順伝播ネットワーク構造に埋め込む。
• $p$ハイパーパrameterをバックプロパゲーションにより学習可能とすることで、ネットワークが各タスクに最適な$p$を自己適応的に特定できるようにする。
• 画像のような空間的構造を持つデータを対象とした、F-W Netの畳み込み拡張を構築する。
• 標準的な最適化手法を用いて、$L_p$-ノルム制約付き再構築目的関数に対してネットワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 フランク＝ウォルフ・アルゴリズムは、$L_p$-ノルム制約付き符号化のための微分可能な深層ネットワークアーキテクチャに効果的にアンロール可能か？
• RQ2 提案された$pool_p$ユニットは、標準的なニューラルネットワーク演算を意味的に一般化しつつ、$L_p$-ノルム制約を保持するか？
• RQ3 $L_p$-ノルム符号化における$p$パラメータは、トレーニング中にエンドツーエンドで効果的に学習可能であり、未知の$p$設定でも性能を向上させられるか？
• RQ4 F-W Netは、画像ノイズ除去や超解像といった実世界の$L_p$-制約付きタスクにおいて、最先端モデルと比較して優れた性能を示すか？
• RQ5 F-W Netの畳み込み拡張は、強力な性能向上を伴いながら、画像修復タスクに効果的に一般化できるか？

主な発見

• F-W Netは、BSD-68の画像ノイズ除去ベンチマークにおいて、最先端モデルと比較してPSNRが2 dB以上向上した。
• F-W Netに組み込まれた学習可能な$p$パラメータにより、最適$p$値への自動適応が可能となり、多様なタスクにおけるロバスト性と性能が向上した。
• $pool_p$ユニットは、ポーリング、活性化関数、正規化を1つの微分可能な演算に統合し、$p$によってパラメータ化されており、モデルの表現力が向上した。
• F-W Netの畳み込み拡張は、画像超解像および分類タスクにおいて優れた性能を示し、複雑なビジョンタスクへのスケーラビリティを確認した。
• 広範なシミュレーションおよび実データ評価から、F-W Netは複数の$L_p$-制約付き符号化問題に強く一般化され、一貫した性能向上を示した。