[論文レビュー] Communications Inspired Linear Discriminant Analysis

Minhua Chen, William R. Carson+3 more|arXiv (Cornell University)|Jun 27, 2012

Face and Expression Recognition参考文献 23被引用数 32

ひとこと要約

この論文では、シャノンエントロピーを用いて、射影されたデータとラベルの間の相互情報量を最大化する通信分野にインspiredされた線形判別分析手法を提案している。この手法は、目的関数を単純化せずに勾配降下法による直接最適化が可能であり、従来のLDAや情報理論的代替手法よりも、実データセット上で優れた性能を発揮する。相互情報量の勾配計算に関する理論的進展を活用している。

ABSTRACT

We study the problem of supervised linear dimensionality reduction, taking an information-theoretic viewpoint. The linear projection matrix is designed by maximizing the mutual information between the projected signal and the class label (based on a Shannon entropy measure). By harnessing a recent theoretical result on the gradient of mutual information, the above optimization problem can be solved directly using gradient descent, without requiring simplification of the objective function. Theoretical analysis and empirical comparison are made between the proposed method and two closely related methods (Linear Discriminant Analysis and Information Discriminant Analysis), and comparisons are also made with a method in which Renyi entropy is used to define the mutual information (in this case the gradient may be computed simply, under a special parameter setting). Relative to these alternative approaches, the proposed method achieves promising results on real datasets.

研究の動機と目的

• 射影されたデータとラベルの間の相互情報量を最適化することで、教師あり線形次元削減を扱う。
• 相互情報量推定における単純化仮定を回避する手法を開発し、直接最適化を可能にする。
• 通信システムからの情報理論的原則を活用し、低次元射影における分類性能を向上させる。
• 提案手法をLDA、情報判別分析（IDA）、およびRényiエントロピーに基づく変種と比較する。
• 厳密な実験的評価を用いて、実世界のデータセットにおける手法の有効性を検証する。

提案手法

• この手法は、シャノンエントロピーを用いて、射影されたデータとラベルの間の相互情報量を最大化する形で次元削減を定式化する。
• 最近の理論的結果を活用し、相互情報量の勾配を直接計算することで、近似を用いずに勾配降下法による最適化を可能にする。
• 射影行列は、相互情報量の目的関数の勾配を用いて反復的に更新される。
• 単純化仮定やガウス近似に依存せず、真の情報理論的目的関数を維持する。
• 同一の実験条件下で、LDA、IDA、およびRényiエントロピーに基づく変種と比較される。
• 理論的分析により、勾配計算の妥当性が確認され、意味のある解への収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法による相互情報量の直接最適化は、従来のLDAと比較して線形次元削減の性能を向上させるか？
• RQ2 シャノンエントロピーに基づく提案手法は、Rényiエントロピーまたは単純化された目的関数を用いる手法と比較してどのように異なるか？
• RQ3 相互情報量推定における単純化仮定の欠如は、実データセットにおける一般化性能の向上に寄与するか？
• RQ4 提案手法の実験的性能は、多様な実世界の分類タスクにおいてLDAやIDAと比較してどの程度か？
• RQ5 理論的勾配である相互情報量の勾配は、実用的な機械学習設定で効果的に活用できるか？

主な発見

• 提案手法は、標準的な線形判別分析（LDA）と比較して、実データセットで優れた分類精度を達成した。
• 相互情報量推定に近似を用いるIDAよりも、本手法は優れた性能を示した。
• 同じパrameter設定下で、シャノンエントロピーに基づく手法がRényiエントロピーの変種よりも優れた性能を発揮した。
• 実験的結果は、複数のベンチマークデータセットにおいて一貫した改善を示し、直接勾配ベースの最適化の有効性を検証した。
• 理論的分析により、相互情報量の勾配が計算可能であり、実用的に効果的に利用可能であることが確認された。これにより、高品質な解への収束が可能となった。
• 非ガウス分布に従うデータに対しても、本手法は頑健であることが示され、LDAにおけるガウス分布仮定の欠点を補う優位性を示した。