[論文レビュー] Maximal Sparsity with Deep Networks?

Bo Xin, Yizhou Wang+2 more|arXiv (Cornell University)|May 5, 2016

Sparse and Compressive Sensing Techniques参考文献 37被引用数 96

ひとこと要約

この論文は、辞書のコherenCeが高く（制限イソメトリック定数が大きい）ても、従来のスパース推定アルゴリズムを上回る性能を示す深層学習手法を提案する。層ごとの重みをエンド・トゥ・エンドの学習によって最適化することで、固定されたアルゴリズム的更新則に頼る手法とは異なり、スパース回復の精度が著しく向上し、標準的手法が失敗する領域でも優れた性能を発揮する。これは、スパースな外れ値を含む光度ステレオ問題において実証された。

ABSTRACT

The iterations of many sparse estimation algorithms are comprised of a fixed linear filter cascaded with a thresholding nonlinearity, which collectively resemble a typical neural network layer. Consequently, a lengthy sequence of algorithm iterations can be viewed as a deep network with shared, hand-crafted layer weights. It is therefore quite natural to examine the degree to which a learned network model might act as a viable surrogate for traditional sparse estimation in domains where ample training data is available. While the possibility of a reduced computational budget is readily apparent when a ceiling is imposed on the number of layers, our work primarily focuses on estimation accuracy. In particular, it is well-known that when a signal dictionary has coherent columns, as quantified by a large RIP constant, then most tractable iterative algorithms are unable to find maximally sparse representations. In contrast, we demonstrate both theoretically and empirically the potential for a trained deep network to recover minimal $\ell_0$-norm representations in regimes where existing methods fail. The resulting system is deployed on a practical photometric stereo estimation problem, where the goal is to remove sparse outliers that can disrupt the estimation of surface normals from a 3D scene.

研究の動機と目的

• 辞書のコヒーレンスが高いため（制限イソメトリック定数が大きい）に、従来のスパース推定アルゴリズムが最大スパース解を回復できなくなるという限界を解消すること。
• 固定された重みを用いた反復的スパース回復アルゴリズムの代替として、学習可能な重みを持つ深層ニューラルネットワークが、高コヒーレンス領域で優れた性能を示すかどうかを調査すること。
• エンド・トゥ・エンドで訓練された深層ネットワークが、標準的手法が失敗する領域でも正確なサポート回復と最小ℓ₀ノルム解を達成できることを示すこと。
• 光度ステレオ問題におけるスパース外れ値の影響を受ける実世界の応用において、その手法の有効性を検証すること。

提案手法

• 反復的スパース回復アルゴリズムを共有された手動で設計された重みを持つ深層ネットワークに再定式化し、その後これらを識別的に訓練された層固有の重みに置き換える。
• ネットワークアーキテクチャは、反復的ハードスレッショーディング（IHT）の深層アンフォールディングとして設計され、学習可能なフィルタおよびスレッショーディング部品を備える。
• 推定されたサポートに基づいてサポートテンプレートを動的に更新することで、部分的なサポート回復と収束性の向上を実現する。
• クラスタ中心とアクティブ成分から構成される縮退した辞書を用いた修正済みIHT更新則を採用し、安定性とスパarsityの両方を向上させる。
• 二段階のプロセスを採用する：第一にクラスタ中心を特定し、第二に既知のサポート情報を利用して残りの成分を回復する。
• 訓練プロセスでは、スパース信号とその観測値のペアを用いて、最小ℓ₀ノルム解を最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習された深層ネットワークは、辞書のコヒーレンスが高いために従来のアルゴリズムが失敗するスパース表現問題において、正確なサポート回復を達成できるか？
• RQ2 学習可能な重みを持つ深層ネットワークをエンド・トゥ・エンドで訓練することで、固定重みの反復的アルゴリズムに比べて推定精度が顕著に向上するか？
• RQ3 高制限イソメトリック定数の下で、深層ネットワークが最大スパース解（最小ℓ₀ノルム）をどの程度回復できるか？
• RQ4 本手法は、光度ステレオのようなスパース外れ値を含む実用的応用において、どの程度の性能を示すか？

主な発見

• 提案された深層ネットワークは、辞書のコヒーレンスが高いために標準的反復的手法が失敗する領域においても、正確なサポート回復と最小ℓ₀ノルム解を達成する。
• ネットワークは有限回の反復後に真のスパース解に収束し、再構成誤差が2⁻ᵗの指数関数的減少を示す。
• 理論的分析により、部分的なサポートが既知の場合、一意な回復に必要な制限イソメトリック定数が顕著に緩和されることが示され、高コヒーレンス下でも収束が可能となる。
• 光度ステレオにおける実験的結果から、本手法はスパース外れ値を効果的に除去し、表面法線推定の精度を向上させることを示した。
• 制限イソメトリック定数が標準的手法の理論的閾値を超えた場合、本手法は精度とロバスト性の両面で従来のスパース回復アルゴリズムを上回る。