[論文レビュー] Dimension Reduction with Non-degrading Generalization

Pitoyo Hartono|arXiv (Cornell University)|Aug 5, 2015

Neural Networks and Applications参考文献 26被引用数 6

ひとこと要約

この論文は、分類性能を2次元可視化で保持するための次元削減のための制限付きラジアル基底関数ネットワーク（rRBF）を提案している。rRBFは、文脈に適した自己組織化マップ（CRSOM）を学習することで、PCA や LDA や多様体学習手法とは異なり、教師あり学習によってクラスの近隣構造を維持し、元の高次元空間とほぼ同等の一般化性能を達成する。これにより、可視化は直感的かつ予測可能になる。

ABSTRACT

Visualizing high dimensional data by projecting them into two or three dimensional space is one of the most effective ways to intuitively understand the data's underlying characteristics, for example their class neighborhood structure. While data visualization in low dimensional space can be efficient for revealing the data's underlying characteristics, classifying a new sample in the reduced-dimensional space is not always beneficial because of the loss of information in expressing the data. It is possible to classify the data in the high dimensional space, while visualizing them in the low dimensional space, but in this case, the visualization is often meaningless because it fails to illustrate the underlying characteristics that are crucial for the classification process. In this paper, the performance-preserving property of the previously proposed Restricted Radial Basis Function Network in reducing the dimension of labeled data is explained. Here, it is argued through empirical experiments that the internal representation of the Restricted Radial Basis Function Network, which during the supervised learning process organizes a visualizable two dimensional map, does not only preserve the topographical structure of high dimensional data but also captures their class neighborhood structures that are important for classifying them. Hence, unlike many of the existing dimension reduction methods, the Restricted Radial Basis Function Network offers two dimensional visualization that is strongly correlated with the classification process.

研究の動機と目的

• 高次元データを2次元に削減して可視化する際の分類性能の低下を是正すること。
• 次元削減が一般化精度を損なわず、クラスの近隣構造を保持できることを示すこと。
• rRBFの内部CRSOM表現が、トポロジー的およびクラス構造的両方を保持していることを検証すること。
• ベンチマークデータセット上で、rRBFの可視化および分類性能をPCA、LDA、NCA、t-SNEと比較すること。
• 教師あり次元削減によるrRBFが、分類タスクにおいて意味的で性能を保持する可視化を可能にすることを確立すること。

提案手法

• rRBFは、2次元内部表現層としての文脈に適した自己組織化マップ（CRSOM）を有する階層的教師ありニューラルネットワークアーキテクチャを採用している。
• 学習中に、CRSOMはクラスラベルと局所的近隣関係に基づいてデータを整理し、分類誤差を最小化する。
• 学習プロセスでは、学習率を50から0.01へ動的に減少させ、隠れ層での誤差最小化により最適化が行われる。
• k=3の最近傍法分類器が評価に使用され、これはあらゆるデータセットで一貫して最高の分類率を示した。
• ネットワークの重みを通じて変換行列が暗黙的に生成され、低次元空間における新規データの分類が可能になる。
• CRSOMは、2次元空間におけるトポロジー的およびクラス構造的保存を保証する教師あり学習目的から導出される。

実験結果

リサーチクエスチョン

• RQ1 2次元可視化における分類に不可欠なクラスの近隣構造を次元削減が保持できるか？
• RQ2 rRBFのCRSOM表現は、元の高次元空間と同等の一般化性能を維持できるか？
• RQ3 rRBFの2次元可視化における分類精度は、PCA、LDA、NCA、t-SNEと比較してどの程度優れているか？
• RQ4 rRBFにおける教師あり学習は、教師なしまたはメトリクス学習ベースの手法と比較して、可視化の忠実度をどの程度向上させるか？
• RQ5 内部CRSOM表現は、低次元空間における分類に関連するデータ構造を数学的に最適に保存できるか？

主な発見

• rRBFは、2次元のCRSOM空間における一般化性能が、元の高次元空間とほぼ同一であり、劣化が最小限であることを示した。
• 一方、PCAやLDAは2次元空間でクラスを効果的に分離できず、特に低次元空間で重なった場合に高い分類誤差率を示した。
• t-SNE や NCA はクラス構造を保持する可視化を生成せず、低次元空間での一般化性能が著しく悪化した。
• CRSOM表現は明確にクラスを別々のクラスタに分離しており、MNISTおよび音楽データセットの両方の可視化で確認され、高精度な最近傍法分類が可能になった。
• 10回のランで得られた学習曲線は、収束の安定性を示し、rRBFの学習プロセスの頑健性を裏付けた。
• k=3の最近傍法が、すべてのデータセットで平均分類率が最も高かったことから、実験的選択の妥当性が裏付けられた。