[論文レビュー] Deep Linear Discriminant Analysis

Matthias Dorfer, Rainer Kelz+1 more|arXiv (Cornell University)|Nov 15, 2015

Machine Learning and Data Classification参考文献 17被引用数 22

ひとこと要約

本稿では、線形判別分析（LDA）をエンドツーエンドの目的関数として統合し、線形分離可能な潜在表現を学習する深層ニューラルネットワークフレームワーク、DeepLDAを提案する。バックプロパゲーションによりLDAの散포行列の固有値構造を最適化することで、特徴の判別能を向上させ、MNISTおよびCIFAR-10で最先端の性能を達成し、教師あり設定下でSTL-10において交差エントロピー学習を9%以上上回った。

ABSTRACT

We introduce Deep Linear Discriminant Analysis (DeepLDA) which learns linearly separable latent representations in an end-to-end fashion. Classic LDA extracts features which preserve class separability and is used for dimensionality reduction for many classification problems. The central idea of this paper is to put LDA on top of a deep neural network. This can be seen as a non-linear extension of classic LDA. Instead of maximizing the likelihood of target labels for individual samples, we propose an objective function that pushes the network to produce feature distributions which: (a) have low variance within the same class and (b) high variance between different classes. Our objective is derived from the general LDA eigenvalue problem and still allows to train with stochastic gradient descent and back-propagation. For evaluation we test our approach on three different benchmark datasets (MNIST, CIFAR-10 and STL-10). DeepLDA produces competitive results on MNIST and CIFAR-10 and outperforms a network trained with categorical cross entropy (same architecture) on a supervised setting of STL-10.

研究の動機と目的

• 線形判別分析（LDA）の判別特性を活用したエンドツーエンドの表現学習を実現する深層学習フレームワークの開発。
• 標準LDAが大規模なクラス間距離を強調する一方で隣接クラスの混同を助長するという限界を解消するため、目的関数を再定式化すること。
• 深層ニューラルネットワークが特徴空間のすべての次元にわたってバランスの取れた判別的分散を持つ潜在表現を学習できるようにすること。
• 標準的な交差エントロピー損失の代わりにLDAに基づく目的関数を最適化することで、クラス分離性を向上させ、分類性能を改善すること。
• MNIST、CIFAR-10、STL-10などの標準ベンチマークデータセット上で、本手法の有効性を検証すること。

提案手法

• 最終層の特徴が一般化LDA固有値問題を目的関数として最適化される深層ニューラルネットワークを定式化する。
• 目的関数は、LDA固有値問題から導かれる、クラス間散布対クラス内散布の比を最大化することで、クラス内分散を低く、クラス間分散を高く保つように促進する。
• 損失関数は微分可能であり、確率的勾配降下法を用いたエンドツーエンド学習が可能となる。
• ヒューリスティックな重み付け手法を避けるために、散布行列の固有構造を直接最適化することで、判別的分散がすべての潜在次元にわたって分散されるように保証する。
• すべての実験で共通のネットワークアーキテクチャを採用し、CCEとDeepLDAの間で唯一異なるのは損失関数である。
• MNIST、CIFAR-10、STL-10の3つのデータセットで評価し、画像解像度と固有値ダイナミクスに関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにLDA固有値最適化問題を統合することで、特徴の判別能と分類性能が向上するか？
• RQ2 異なるデータセットおよび画像解像度において、標準的なカテゴリカル交差エントロピー学習と比較して、DeepLDAの汎化性と頑健性はどのように異なるか？
• RQ3 提案手法は、標準的な学習と比較して、潜在次元にわたる判別的分散の分布をより均等に行うか？
• RQ4 入力画像サイズが、特にSTL-10のような低データレジームにおいてDeepLDAの性能に与える影響は何か？
• RQ5 DeepLDAで学習された表現が、理論的に期待される低クラス内分散・高クラス間分離の特性をどの程度満たしているか？

主な発見

• DeepLDAはMNISTおよびCIFAR-10で競争力ある分類精度を達成し、最先端の手法と同等の性能を示した。
• STL-10データセットにおいて、完全に教師あり設定下で、標準的なカテゴリカル交差エントロピー学習を9%以上上回るテストセット精度を達成した。
• 大きな画像（96×96）で最も高い性能を示し、縮小された32×32画像では性能が低下したため、入力解像度に依存する傾向が示された。
• DeepLDAの表現における固有値構造は、CCEで学習されたモデルと比較して、潜在次元にわたる判別的分散の分布がよりバランスが取れていることが明らかになった。
• 学習過程において、説明される判別的分散の大きさ（固有値）と分類精度の間に強く相関関係が確認され、本手法の目的関数が有効に機能していることが裏付けられた。
• 潜在空間の可視化により、DeepLDAが低クラス内分散と高クラス間分離を持つ特徴を学習していることが確認され、LDAの理論的期待と整合的であった。