[論文レビュー] Nonlinear Power Method for Computing Eigenvectors of Proximal Operators and Neural Networks

Leon Bungert, Ester Hait-Fraenkel+2 more|arXiv (Cornell University)|Mar 10, 2020

Sparse and Compressive Sensing Techniques参考文献 75被引用数 10

ひとこと要約

本稿では、近接作用素および深層ニューラルネットワークの固有ベクトルを計算する非線形パワー法を提案し、1-同次近接作用素に対して収束性を証明するとともに、一般のノイズ除去ネットワーク向けに修正された手法を導入する。主な結果として、固有ベクトルは安定／不安定モードを明らかにし、DnCNNは水平ストライプを好み、FFDnetは平滑化行動を示すことが判明し、ネットワークの挙動と耐性についての洞察が得られる。

ABSTRACT

Neural networks have revolutionized the field of data science, yielding remarkable solutions in a data-driven manner. For instance, in the field of mathematical imaging, they have surpassed traditional methods based on convex regularization. However, a fundamental theory supporting the practical applications is still in the early stages of development. We take a fresh look at neural networks and examine them via nonlinear eigenvalue analysis. The field of nonlinear spectral theory is still emerging, providing insights about nonlinear operators and systems. In this paper we view a neural network as a complex nonlinear operator and attempt to find its nonlinear eigenvectors. We first discuss the existence of such eigenvectors and analyze the kernel of ReLU networks. Then we study a nonlinear power method for generic nonlinear operators. For proximal operators associated to absolutely one-homogeneous convex regularization functionals, we can prove convergence of the method to an eigenvector of the proximal operator. This motivates us to apply a nonlinear method to networks which are trained to act similarly as a proximal operator. In order to take the non-homogeneity of neural networks into account we define a modified version of the power method. We perform extensive experiments for different proximal operators and on various shallow and deep neural networks designed for image denoising. Proximal eigenvectors will be used for geometric analysis of graphs, as clustering or the computation of distance functions. For simple neural nets, we observe the influence of training data on the eigenvectors. For state-of-the-art denoising networks, we show that eigenvectors can be interpreted as (un)stable modes of the network, when contaminated with noise or other degradations.

研究の動機と目的

• 一般非線形作用素、特に近接作用素およびノイズ除去ニューラルネットワークの固有ベクトルを計算する非線形パワー法の開発。
• 絶対的1-同次凸汎関数に付随する近接作用素に対する非線形パワー法の収束性を厳密に分析すること。
• ドメイン固有の挙動を考慮し発散を回避する修正されたパワー反復スキームを導入することで、非同次ニューラルネットワークへの手法の一般化。
• 計算された固有ベクトルを（不安定な）モードとして解釈し、ノイズ除去ネットワークの構造的好みと耐性を明らかにすること。
• グラフクラスタリングや距離関数計算などの幾何的解析タスクへの固有ベクトルの有効性を実証すること。

提案手法

• 古典的線形パワー法を非線形作用素に適応し、正規化されたベクトルに対して作用素を繰り返し適用する。
• スペクトル理論と劣勾配解析を用いて、絶対的1-同次凸汎関数に付随する近接作用素に対する非線形パワー法の収束性を証明する。
• 非同次ニューラルネットワーク向けに、ドメイン固有の挙動を考慮し発散を回避する修正されたパワー法を導入する。
• ネットワークの繰り返し適用により固有ベクトルを近似し、主要固有値を漸近的成長率として扱う。
• 浅いおよび深いノイズ除去ネットワーク（例：FFDnet、DnCNN）に本手法を適用し、視覚的および定量的比較による固有ベクトルの分析を行う。
• さまざまなノイズパターン下での入力出力差分の比較と、綺麗な画像とノイズ除去画像間のMSE測定により、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 絶対的1-同次汎関数の近接作用素に対して、非線形パワー法を厳密に収束性が保証されるか？
• RQ2 理論的収束性が保証されていない非同次で高次非線形なニューラルネットワークに、パワー法をどのように一般化できるか？
• RQ3 計算された固有ベクトルは、学習済みノイズ除去ネットワークの構造的好みと耐性について何を明らかにするか？
• RQ4 ノイズや劣化が加わった状況下で、固有ベクトルは画像ノイズ除去ネットワークにおける安定・不安定モードとどのように関係するか？
• RQ5 近接作用素の固有ベクトルは、グラフクラスタリングや距離関数計算といった幾何的タスクに効果的に応用できるか？

主な発見

• スペクトル解析と劣勾配性質を用いた証明により、絶対的1-同次汎関数に付随する近接作用素に対して、非線形パワー法が固有ベクトルに収束することが示された。
• FFDnetに対して固有ベクトルを計算した結果、滑らかさの強い平滑化行動が顕在化し、滑らかまたは構造的な入力に対しては変化が最小限に抑えられることが判明した。
• DnCNNは水平ストライプを強く好み、単一のノイズ除去処理後の入力と出力の間でほぼ同一直線上に位置し、水平ストライプ画像に対するMSEが低かったことから明らかになった。
• DnCNNによる繰り返しノイズ除去処理は、滑らかな画像に水平ストライプを生成する傾向を示し、学習データに存在しないシャープニング効果が顕在化した。
• DnCNNおよびFFDnetの安定モードは、初期条件の平滑化版に水平構造が加わったものであり、ネットワークの挙動に構造的バイアスが存在することを示している。
• 修正されたパワー法により計算された固有ベクトルは、解釈可能な（不安定な）モードを提供し、ネットワークがどの画像構造を保持または除去するかを明らかにした。