[論文レビュー] Deep Neural Maps

Mehran Pesteie, Purang Abolmaesumi+1 more|arXiv (Cornell University)|Feb 12, 2018

Neural Networks and Applications被引用数 2

ひとこと要約

Deep Neural Maps (DNM) は、深層畳み込みニューラルネットワークと自己組織化マップを組み合わせることで、同時にデータ埋め込みを学習し、2次元格子にマップする非教師あり表現学習手法を導入する。この手法は、MNIST および COIL-20 において t-SNE や LLE よりも優れた可視化忠実度を示し、効率的でクラス判別性の高い表現を生成する。

ABSTRACT

We introduce a new unsupervised representation learning and visualization using deep convolutional networks and self organizing maps called Deep Neural Maps (DNM). DNM jointly learns an embedding of the input data and a mapping from the embedding space to a two-dimensional lattice. We compare visualizations of DNM with those of t-SNE and LLE on the MNIST and COIL-20 data sets. Our experiments show that the DNM can learn efficient representations of the input data, which reflects characteristics of each class. This is shown via back-projecting the neurons of the map on the data space.

研究の動機と目的

• 深層畳み込みニューラルネットワークと自己組織化マップを統合した新しい非教師あり表現学習フレームワークの開発。
• 入力データの統合埋め込みと、クラス構造を保持する2次元トポロジカルマップの学習。
• t-SNE や LLE よりも、内在的なデータ特性とクラス分離性をより効果的に反映する可視化の生成。
• 2次元マップのニューロンを入力データ空間にバックプロジェクションすることで、解釈可能な可視化の実現。

提案手法

• DNM は、入力データから階層的特徴表現を学習するための深層畳み込みニューラルネットワークを用いる。
• 自己組織化マップ部は、学習済み埋め込みを2次元格子にマップし、局所的近傍関係を保持する。
• 特徴学習とトポロジカルマッピングの両方を最適化する統合損失関数を用いて、エンドツーエンドでネットワークを訓練する。
• この手法により、2次元マップのニューロンを入力空間にバックプロジェクションすることが可能となり、学習済み特徴の可視化が可能になる。
• アーキテクチャは、ラベルなしデータを必要とせずに、表現学習とトポロジカルな組織化の両方を共同で最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークと自己組織化マップを組み合わせることで、従来の非教師あり手法よりも意味的でクラス判別性の高いデータ表現を学習できるか？
• RQ2 2次元マップは、特にクラス境界を含め、データの内在的構造をどれほど効果的に保持するか？
• RQ3 マップのニューロンのバックプロジェクションが、入力空間における解釈可能な特徴をどれほど効果的に明らかにできるか？
• RQ4 DNM は、MNIST および COIL-20 における複雑なデータ分布の可視化において、t-SNE や LLE と比べてどの程度優れているか？

主な発見

• DNM は、各データクラスの顕著な特徴を捉える効率的でクラスを反映した表現を成功して学習する。
• MNIST および COIL-20 において、t-SNE や LLE よりも、2次元マップが局所的およびグローバルなデータ構造をより効果的に保持する。
• マップから入力空間へのニューロンのバックプロジェクションにより、特定のデータパターンに対応する意味的で解釈可能な特徴が明らかになる。
• 埋め込みとトポロジカルマッピングの共同学習により、より一貫性があり意味的に意味のある可視化が得られる。