[論文レビュー] An Information-Theoretic Framework for Fast and Robust Unsupervised Learning via Neural Population Infomax

Wentao Huang, Kechen Zhang|arXiv (Cornell University)|Nov 7, 2016

Image and Signal Denoising Methods参考文献 46被引用数 5

ひとこと要約

本稿では、大規模なニューラル集団におけるシャノン相互情報量の漸近的近似を用いた、ニューラル集団インフォマックスに基づく高速で頑健な非教師あり表現学習フレームワークを提案する。階層的インフォマックス初期化と勾配ベース最適化を活用することで、高次元データから完全、過剰、不足な基底を効率的に学習し、従来の手法よりも1桁速い収束速度を達成しながら、自然画像やMNIST手書き数字を含む多様なデータセットにおいても頑健性を維持する。

ABSTRACT

A framework is presented for unsupervised learning of representations based on infomax principle for large-scale neural populations. We use an asymptotic approximation to the Shannon's mutual information for a large neural population to demonstrate that a good initial approximation to the global information-theoretic optimum can be obtained by a hierarchical infomax method. Starting from the initial solution, an efficient algorithm based on gradient descent of the final objective function is proposed to learn representations from the input datasets, and the method works for complete, overcomplete, and undercomplete bases. As confirmed by numerical experiments, our method is robust and highly efficient for extracting salient features from input datasets. Compared with the main existing methods, our algorithm has a distinct advantage in both the training speed and the robustness of unsupervised representation learning. Furthermore, the proposed method is easily extended to the supervised or unsupervised model for training deep structure networks.

研究の動機と目的

• 非教師あり表現学習のため、大規模ニューラル集団におけるシャノン相互情報量を最適化する際の計算的非実行可能性に対処すること。
• 入力と出力の次元が等しい必要があるか、収束が遅いといった既存のインフォマックスベース手法の制限を克服すること。
• 高次元データから完全、過剰、不足な基底を学習できるスケーラブルで頑健かつ効率的なアルゴリズムの開発。
• 提案された非教師あり表現学習フレームワークを用いて、深層ネットワークの高速かつ安定した学習を可能にすること。
• 本手法の有効性を、自然画像パッチやMNIST手書き数字といった実世界のデータセット上で示すこと。

提案手法

• 本手法は、大N極限における刺激とニューラル集団応答の間の相互情報量（MI）の漸近的近似を用い、最適化が実行可能になるようにする。
• 最適化問題の高品質な初期解を得るために階層的インフォマックス手法を採用し、収束安定性を向上させる。
• 漸近的MI近似から導かれる最終的な目的関数に対して勾配降下法を適用し、表現パラメータを精緻化する。
• 重み行列のランクを調整し、応答行列の低ランク近似を用いることで、完全、過剰、不足な基底の学習を可能にする。
• ポisson発火ニューロンモデルなどの現実的な生物学的制約を組み込むことで、神経生物学的妥当性を確保する。
• 学習済み表現をより深いアーキテクチャに統合することで、本手法は教師あり学習および深層ネットワーク学習へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 相互情報量の漸近的近似は、大規模ニューラル集団における効率的かつスケーラブルな非教師あり表現学習を可能にするか？
• RQ2 階層的インフォマックス初期化は、非凸なMI最大化における勾配ベース最適化の収束性と頑健性をどのように向上させるか？
• RQ3 本手法は、ラベルなしの条件下で自然画像パッチから意味のあるガボール型フィルタを学習できるか？
• RQ4 本手法の学習速度および収束性能は、ICA、MBDL、SRBMといった既存の非教師あり学習ベースラインと比較してどうなるか？
• RQ5 本手法は、過剰表現およびMNISTや自然画像パッチのような高次元データセットへどの程度一般化可能か？

主な発見

• 本手法は、自然画像パッチおよびMNISTデータセットの両方で、IICA、FICA、MBDL、SRBMといった既存手法よりも、最大で1桁速い収束速度を達成した。
• 本手法は自然画像パッチからガボール型フィルタおよび基底を効果的に学習した。より大きなフィルタサイズは、小さなノイズのような構造の効果的な抑制を示している。
• MNISTデータセットでは、1024個の入力パッチから183個の意味のある基底ベクトルを学習し、手書き数字の顕著な特徴を反映した。
• 画像ノイズ除去実験では、100個の基底を用いた辞書学習よりも、わずか14個の基底で優れた性能を示し、ノイズのあるパッチにおける再構成誤差ノルムが23.48にまで低下した。
• 本手法はハイパーパramータの変動、特に学習率パrameter $v_1$ に対して頑健であり、さまざまな設定において一貫した高速収束を示した。
• 本フレームワークは大規模な過剰表現をサポートしており、出力ユニット数が入力数をはるかに上回る—これは、大多数の既存モデルとは対照的である。