[論文レビュー] lfda: An R Package for Local Fisher Discriminant Analysis and Visualization

Yuan Tang, Wenxuan Li|arXiv (Cornell University)|Dec 11, 2016

Face and Expression Recognition参考文献 6被引用数 9

ひとこと要約

本論文は、局所フィッシャー判別分析（LFDA）およびその変種（カーネルLFDA、半教師付きLFDAを含む）を実装するlfda Rパッケージを紹介する。このパッケージにより、局所的なクラス内構造を保持しつつクラス間分離性を最大化する教師あり次元削減が可能になる。パッケージはggfortifyとrglを統合し、2次元および3次元の可視化を提供し、研究者が多様なデータ分布を有するデータに対して探索的データ解析や機械学習の前処理を容易に行えるよう支援する。

ABSTRACT

Local Fisher discriminant analysis is a localized variant of Fisher discriminant analysis and it is popular for supervised dimensionality reduction method. lfda is an R package for performing local Fisher discriminant analysis, including its variants such as kernel local Fisher discriminant analysis and semi-supervised local Fisher discriminant analysis. It also provides visualization functions to easily visualize the dimension reduction results by using either rgl for 3D visualization or ggfortify for 2D visualization in ggplot2 style.

研究の動機と目的

• 従来のフィッシャー判別分析が多様なデータ分布を扱う際の限界を是正すること。
• LFDAおよびその変種を統合的に実装する統一されたRパッケージを提供し、教師ありおよび半教師付き次元削減を可能にすること。
• 2次元（ggplot2スタイル）および3次元（rgl）レンダリングを用いた、次元削減されたデータの直感的な可視化を可能にすること。
• ガウスカーネルを用いたマッピングにより非線形なデータ構造を捉えるカーネル化LFDAの導入と、ラベル付きデータが少ない状況でも安定性を高める半教師付き学習によるレギュライゼーション効果の実現。
• ggfortifyやdmlといった既存のRエコシステムとの統合により、再現性の向上と比較分析の容易化を図ること。

提案手法

• LFDAは、k近傍法による類似度を用いて局所的なクラス内およびクラス間の散乱行列を定義することで、フィッシャー判別分析と局所保持射影を統合する。
• 局所的な散乱行列を用いた一般化固有値問題を解くことで変換行列を計算し、クラス間分離性を最大化するとともにクラス内散乱を最小化する。
• カーネルLFDAは、ガウスカーネル行列を用いてデータを高次元空間にマッピングすることで非線形分離を可能にする。
• 半教師付きLFDAは、ラベル付きデータとラベルなしデータの影響を調整するbetaパラメータを導入し、ラベル付きデータが少ない状況でも正則化効果を発揮する。
• rglを用いた3次元プロットと、ggfortifyを用いた2次元ggplot2スタイルのプロットにより可視化が可能で、ラベル付きデータの色分けやフレームのカスタマイズもサポートされる。
• 学習済みの距離行列を用いて新しいデータに対する予測が可能で、データセット間での変換の一貫性が保証される。

実験結果

リサーチクエスチョン

• RQ1 LFDAは、多様なデータ分布を有するデータにおいて、局所的なクラス内構造を保持しつつクラス間分離性を向上させることができるか？
• RQ2 カーネルLFDAは、標準的なLFDAと比較して非線形分離可能なデータに対してどのように性能を向上させるか？
• RQ3 ラベル付きサンプルが非常に少ない状況において、半教師付きLFDAはどれほど安定性を向上させるか？
• RQ4 lfdaに内蔵された可視化ツールは、高次元データセットにおける解釈可能性と探索的データ解析をどの程度支援するか？
• RQ5 lfdaとggfortify、dmlの統合は、Rにおける比較分析やパイプライン開発をどのように簡素化するか？

主な発見

• lfdaパッケージは、局所フィッシャー判別分析およびその変種を効果的に実装しており、多様なデータ分布を有するデータに対する次元削減を可能にしている。
• カーネルLFDAは非線形関係を捉えるのに特に有効であるが、irisデータセットのような線形分離可能なデータでは過学習を引き起こす可能性がある。
• beta = 0.1の半教師付きLFDAは、ラベル付きデータが少ない状況で自然な正則化効果を示し、安定性が向上している。
• rglおよびggfortifyを用いた可視化関数により、ラベル付きクラスの色分けやフレーム境界の指定をサポートする直感的な3次元および2次元のデータ探索が可能である。
• ggfortifyとの統合により、lfdaモデルの出力に対して標準的なggplot2スタイルの美学的要因やプロット関数をシームレスに利用できる。
• 本パッケージは拡張可能であり、将来のdmlパッケージとの統合を想定した設計となっており、距離行列学習アルゴリズムの比較分析を容易にする。