[論文レビュー] Optimal deep neural networks for sparse recovery via Laplace techniques

Steffen Limmer, Sławomir Stańczak|arXiv (Cornell University)|Sep 4, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用数 3

ひとこと要約

本稿では、ラプラシアン変換技術を用いてトレーニングを伴わずに多面体の重心を計算することで、単体制約付きベクトルの最適なスパース復元を実現する完全に解析的な深層ニューラルネットワークを提案する。ネットワークのアーキテクチャは多次元ラプラシアン変換による体積および重心計算から導出され、一様入力分布下での正確なMMSE推定を可能にし、ReLU、しきい値、および整列多項式活性化関数を用いて最適性能を達成する。

ABSTRACT

This paper introduces Laplace techniques for designing a neural network, with the goal of estimating simplex-constraint sparse vectors from compressed measurements. To this end, we recast the problem of MMSE estimation (w.r.t. a pre-defined uniform input distribution) as the problem of computing the centroid of some polytope that results from the intersection of the simplex and an affine subspace determined by the measurements. Owing to the specific structure, it is shown that the centroid can be computed analytically by extending a recent result that facilitates the volume computation of polytopes via Laplace transformations. A main insight of this paper is that the desired volume and centroid computations can be performed by a classical deep neural network comprising threshold functions, rectified linear (ReLU) and rectified polynomial (ReP) activation functions. The proposed construction of a deep neural network for sparse recovery is completely analytic so that time-consuming training procedures are not necessary. Furthermore, we show that the number of layers in our construction is equal to the number of measurements which might enable novel low-latency sparse recovery algorithms for a larger class of signals than that assumed in this paper. To assess the applicability of the proposed uniform input distribution, we showcase the recovery performance on samples that are soft-classification vectors generated by two standard datasets. As both volume and centroid computation are known to be computationally hard, the network width grows exponentially in the worst-case. It can be, however, decreased by inducing sparse connectivity in the neural network via a well-suited basis of the affine subspace. Finally, the presented analytical construction may serve as a viable initialization to be further optimized and trained using particular input datasets at hand.

研究の動機と目的

• 単体上での一様事前分布の下で、スパースベクトルの最小平均二乗誤差（MMSE）推定を最適化する深層ニューラルネットワークの設計。
• ラプラシアン変換技術を用いて解析的にネットワークアーキテクチャとパラメータを導出することで、データ駆動型トレーニングの必要性を排除すること。
• スパース性、ニューラルネットワークアーキテクチャ、および圧縮センシングの文脈における凸幾何学の理論的基盤を確立すること。
• ReLU、しきい値、および整列多項式（ReP）活性化関数が解析的構築過程から自然に出現する理由を明らかにすること。

提案手法

• MMSE推定問題を、測定値によって定義されるアフィン部分空間と単体の交差からなる多面体の重心を計算する問題に再定式化する。
• 多次元ラプラシアン変換を適用して、得られる多面体の体積および重心を解析的に計算する。
• ラプラシアンに基づく体積計算に関する最近の結果を用いて、重心の閉形式表現を導出し、これが最適推定器に対応することを示す。
• 測定数Mに等しいM層からなる深層ニューラルネットワークを構築し、ReLU、しきい値、およびReP活性化関数を用いて重心計算を実装する。
• ラプラシアン変換のパrameterから直接的にネットワーク重みと構造を導出し、確率的最適化を回避する。
• 適切な基底の選択によりアフィン部分空間のスパース接続性を導入することで、最悪ケースにおける計算複雑度の指数的増加を緩和する。

実験結果

リサーチクエスチョン

• RQ1 一様事前分布の下で、最適なMMSE推定器をトレーニングなしに深層ニューラルネットワークとして実装可能か？
• RQ2 なぜReLU、しきい値、およびReP活性化関数がこのネットワークの解析的構築過程から自然に出現するのか？
• RQ3 単体とアフィン部分空間の交差からなる多面体の重心を、ラプラシアン変換を用いて解析的にどのように計算できるか？
• RQ4 測定数と最適なニューラルネットワークアーキテクチャの深さとの関係は何か？
• RQ5 解析的ネットワークは、特定のデータセットにおける微調整のための強力な初期化として機能可能か？

主な発見

• 提案されたネットワークは、ラプラシアン変換を用いて実行される、実行可能多面体の重心の解析的計算により、単体制約付きスパースベクトルの最適なMMSE推定を達成する。
• ネットワークの深さは測定数Mに正確に等しく、スパース信号の低遅延回復を可能にする。
• ネットワークアーキテクチャとパラメータは、トレーニングを一切行わず、凸幾何学とラプラシアン変換の恒等式にのみ依存して閉形式で導出される。
• ReLU、しきい値、およびReP活性化関数の使用は、理論的に正当化されており、これらはラプラシアン変換の逆変換プロセスから自然に出現する。
• 最悪ケースではネットワーク幅が指数的に増加するが、適切な基底を用いたアフィン部分空間のスパース接続性を導入することで、これを軽減可能である。
• 解析的構築により得られるネットワークは、標準ベンチマークから得られるソフト分類ベクトルの例で示されるように、実データセットにおける微調整のための実用的な初期化を提供する。