[論文レビュー] Degrees of Freedom Analysis of Unrolled Neural Networks

Morteza Mardani, Qingyun Sun+4 more|arXiv (Cornell University)|Jun 10, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用数 5

ひとこと要約

本稿では、画像復元タスクにおける一般化リスクを定量化するために、スティーンの不偏リスク推定（SURE）を用いたアンロールドニューラルネットワークの自由度（DOF）解析を提案する。DOF（エンドツーエンドネットワークのヤコビアンのトレースとして定義される）が、重みの非整合性条件下で重み付きパススパarsityによってよく近似されることを証明し、実験的に再帰的重み共有方式が非再帰的代替手法よりも少ない訓練データでより速く一般化することを示し、低データ環境下での再帰性が効果的な正則化因子であることを示している。

ABSTRACT

Unrolled neural networks emerged recently as an effective model for learning inverse maps appearing in image restoration tasks. However, their generalization risk (i.e., test mean-squared-error) and its link to network design and train sample size remains mysterious. Leveraging the Stein's Unbiased Risk Estimator (SURE), this paper analyzes the generalization risk with its bias and variance components for recurrent unrolled networks. We particularly investigate the degrees-of-freedom (DOF) component of SURE, trace of the end-to-end network Jacobian, to quantify the prediction variance. We prove that DOF is well-approximated by the weighted extit{path sparsity} of the network under incoherence conditions on the trained weights. Empirically, we examine the SURE components as a function of train sample size for both recurrent and non-recurrent (with many more parameters) unrolled networks. Our key observations indicate that: 1) DOF increases with train sample size and converges to the generalization risk for both recurrent and non-recurrent schemes; 2) recurrent network converges significantly faster (with less train samples) compared with non-recurrent scheme, hence recurrence serves as a regularization for low sample size regimes.

研究の動機と目的

• 限られた訓練データ下での画像復元タスクにおけるアンロールドニューラルネットワークの一般化リスクを理解すること。
• スティーンの不偏リスク推定（SURE）の自由度（DOF）成分を用いて、アンロールドネットワークの予測分散を定量化すること。
• 特に再帰的（重み共有）と非再帰的（重み変更）設計におけるネットワークアーキテクチャの違いが一般化性能に与える影響を分析すること。
• 訓練済み重みの非整合性条件下で、DOFと重み付きパススパarsityの間の理論的関係を確立すること。
• SUREフレームワークをノイズ除去およびぼかし除去タスクに実験的に検証し、再帰的および非再帰的アンロールドネットワークを比較すること。

提案手法

• 一般化平均二乗誤差を残差平方和（RSS）と自由度（DOF）に分解するために、スティーンの不偏リスク推定（SURE）を用いる。
• DOFをエンドツーエンドネットワークのヤコビアンのトレースとして定義し、予測の不確実性を捉える。
• ネットワーク重みの非整合性条件下で、DOFの理論的近似を重み付きパススパarsityの観点から導出する。
• スルー接続を備えた1層の残差ユニットを用いて、アンロールドネットワークアーキテクチャにおけるノイズ除去器をモデル化する。
• 2つの手法を比較：再帰的ネットワーク（重み共有、WS）と非再帰的ネットワーク（重み変更、WC）、それぞれのSURE成分を分析する。
• スペクトル解析と周波数応答解釈を用いて、WSおよびWCネットワークのフィルタリング特性を比較する。

実験結果

リサーチクエスチョン

• RQ1 アンロールドニューラルネットワークの自由度（DOF）は、低データ環境下での一般化リスクとどのように関係しているか？
• RQ2 訓練済み重みの非整合性条件下で、DOFは重み付きパススパarsityによって正確に近似可能か？
• RQ3 訓練データ数の関数として、再帰的（重み共有）と非再帰的（重み変更）のアンロールドネットワークアーキテクチャの一般化性能はどのように比較されるか？
• RQ4 ラベル付きデータが限られる状況下で、再帰性は一般化誤差を正則化する役割を果たすか？
• RQ5 周波数スペクトル解析によって明らかになるように、WSおよびWCネットワークの学習済みプロキシマル演算子のフィルタリング行動はどのように異なるか？

主な発見

• DOFは訓練データ数の増加とともに増加し、最終的に再帰的および非再帰的両方の手法で一般化リスクに収束する。
• 訓練データが限られる状況下で、再帰的重み共有（WS）ネットワークは非再帰的重み変更（WC）ネットワークよりも顕著に低い一般化リスクを達成しており、再帰性が正則化因子として機能していることを示している。
• WSとWCの間のSUREギャップは、訓練データが少ない場合に最大となり、データ量が増えるにつれて徐々に小さくなり、最終的に収束する。
• ネットワーク重みの非整合性条件下では、重み付きパススパarsityがDOFをよく近似し、一般化リスクの実用的代理指標を提供する。
• WSネットワークは周波数ドメインでバンドパスフィルタリング特性を示すが、WCネットワークはローパスとバンドパスフィルタリングを交互に示し、ノイズ除去ダイナミクスが異なることを示唆している。
• 自然画像のデブラーイングタスクにおいて、WSネットワークはWCネットワークよりも高いPSNRを達成しており、低データ環境下での優れた一般化性能を確認している。