[論文レビュー] Compressed Learning: A Deep Neural Network Approach

Amir Adler, Michael Elad+1 more|arXiv (Cornell University)|Oct 30, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用数 53

ひとこと要約

本論文は、画像分類のための圧縮センシング行列と非線形推論演算子を同時に最適化するエンドツーエンドのディープニューラルネットワークを提案し、最先端の手法を著しく上回る性能を達成した。1%のセンシングレート（8回の測定）において、MNISTで6.46%の分類誤差を達成したのに対し、固定されたセンシング行列を用いた従来のディープラーニング手法では41.06%の誤差を示した。

ABSTRACT

Compressed Learning (CL) is a joint signal processing and machine learning framework for inference from a signal, using a small number of measurements obtained by linear projections of the signal. In this paper we present an end-to-end deep learning approach for CL, in which a network composed of fully-connected layers followed by convolutional layers perform the linear sensing and non-linear inference stages. During the training phase, the sensing matrix and the non-linear inference operator are jointly optimized, and the proposed approach outperforms state-of-the-art for the task of image classification. For example, at a sensing rate of 1% (only 8 measurements of 28 X 28 pixels images), the classification error for the MNIST handwritten digits dataset is 6.46% compared to 41.06% with state-of-the-art.

研究の動機と目的

• 圧縮学習における固定で事前に定義されたセンシング行列の制限を克服し、推論ネットワークと同時に最適化可能な手法を提供すること。
• 信号再構成が不要な圧縮センシングの状況において、推論性能に焦点を当て、分類精度を向上させること。
• センシングと推論の両方のコンponentをエンドツーエンドで訓練することで、分離されたアプローチに比べて優れた性能を達成できることを示すこと。
• 特に低センシングレートにおいても最先端の性能を達成する、圧縮画像分類のための最良の性能を実現すること。
• MNISTデータセットを用いて、センシングと分類を統合した1つのトレーニング可能なモデルを採用し、アプローチの有効性を検証すること。

提案手法

• 可学習重みを有する全結合層を用いて、標準的な固定センシング行列の代わりに学習可能なセンシング行列 $\widetilde{\Phi}$ を学習する。
• センシング層の出力をReLU活性化関数を介して非線形性を導入する。
• 可学習重み $\widetilde{\Psi}$ を持つ第二の全結合層により、測定値を元の画像次元に再投影し、再構成入力 $\mathbf{z} = \max(0, \widetilde{\Psi} \max(0, \widetilde{\Phi} \mathbf{x}))$ を形成する。
• この再構成入力を、LeNetを模した畳み込みニューラルネットワークが処理する。処理には畳み込み層、ReLU活性化関数、マックスプーリング層が含まれる。
• 最終的な分類は、MNISTの10種類の数字クラスを出力するsoftmax層によって行われる。
• ネットワーク全体は確率的勾配降下法を用いてエンドツーエンドで訓練され、センシングと推論の両方のコンponentが同時に最適化される。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワーク内でセンシング行列と推論ネットワークを同時に最適化することで、圧縮学習における分類精度が向上するか？
• RQ2 圧縮画像分類において、エンドツーエンドで訓練されたセンシングと推論ステージは、固定された標準的なセンシング行列と比較してどのように異なるか？
• RQ3 学習可能なセンシング行列を用いることで、超低センシングレート（例：1%）においてどの程度の性能向上が達成できるか？
• RQ4 センシング行列が事前に指定されていないが、トレーニング中に学習される場合、提案アーキテクチャは高い精度を維持できるか？
• RQ5 本手法は、スラッシュドフィルターやCNNを用いたランダムセンシングといった既存の最先端手法を上回ることができるか？

主な発見

• センシングレートが1%（28×28のMNIST画像に対して8回の測定）の状況で、提案手法は6.46%の分類誤差を達成した。
• これは、ランダムセンシング行列とCNNを用いた最先端手法が同じレートで報告した41.06%の誤差と比べて顕著な改善を示している。
• より低いセンシングレートでは性能差がさらに広がる：5%レートでは、提案手法が2.86%の誤差を達成したのに対し、従来の最先端手法は5.18%であった。
• 25%のセンシングレートでも、提案手法は1.56%の誤差を達成した。これは、スラッシュドフィルターメソッド（27.42%）とランダムセンシング＋CNNアプローチ（1.63%）を上回った。
• センシングと推論コンponentの共同最適化により、全テストセンシングレートにおいて一貫した性能向上が得られ、特に低レートでの改善が顕著であった。
• トレーニング後、学習されたセンシング行列を分離可能であり、最適化された測定取得を実現するスタンドアロンの圧縮センシングデバイスの展開が可能になった。