[論文レビュー] Self-Weighted Robust LDA for Multiclass Classification with Edge Classes

Caixia Yan, Xiaojun Chang+5 more|arXiv (Cornell University)|Sep 24, 2020

Face and Expression Recognition参考文献 63被引用数 9

ひとこと要約

本稿では、全クラス平均への依存を回避し、自己重み付きℓ₂,₁-ノルムに基づくペアワイズ距離基準を用いることで、外れ値的性質を持つエッジクラス（大きな偏差を示すクラス）の悪影響を軽減する、新しい多クラス分類手法Self-Weighted Robust LDA（SWRLDA）を提案する。この手法は、高速な収束性と、合成データおよび実世界のデータセットにおいて優れた性能を発揮し、特にノイズが多い、またはクラス不均衡な状況下でも、既存のLDA変種を上回る精度と計算効率を達成する。

ABSTRACT

Linear discriminant analysis (LDA) is a popular technique to learn the most discriminative features for multi-class classification. A vast majority of existing LDA algorithms are prone to be dominated by the class with very large deviation from the others, i.e., edge class, which occurs frequently in multi-class classification. First, the existence of edge classes often makes the total mean biased in the calculation of between-class scatter matrix. Second, the exploitation of l2-norm based between-class distance criterion magnifies the extremely large distance corresponding to edge class. In this regard, a novel self-weighted robust LDA with l21-norm based pairwise between-class distance criterion, called SWRLDA, is proposed for multi-class classification especially with edge classes. SWRLDA can automatically avoid the optimal mean calculation and simultaneously learn adaptive weights for each class pair without setting any additional parameter. An efficient re-weighted algorithm is exploited to derive the global optimum of the challenging l21-norm maximization problem. The proposed SWRLDA is easy to implement, and converges fast in practice. Extensive experiments demonstrate that SWRLDA performs favorably against other compared methods on both synthetic and real-world datasets, while presenting superior computational efficiency in comparison with other techniques.

研究の動機と目的

• 従来のLDA手法が、全データ平均のバイアス推定とℓ₂-ノルム距離基準に起因してエッジクラスの影響を強く受ける問題に対処すること。
• 追加パラメータを必要とせず、最適な平均計算を自動で回避できるロバストなLDA変種を開発すること。
• ℓ₂,₁-ノルムに基づくクラス間距離基準を用いて、クラスペアに対する適応的重みを学習することで、クラス分離性を向上させること。
• 効率的な再重み付け最適化アルゴリズムにより、高速な収束性とグローバル最適性を保証すること。
• エッジクラスが分類に歪みをもたらす高次元、ノイズ多め、または不均衡なデータセットにおいて、性能を向上させること。

提案手法

• 全クラス平均をペアワイズのクラス中心間差分で置き換えることで、エッジクラスによるバイアスを排除するクラス間分散行列の再定義。
• エッジクラスに起因する極端な距離の影響を低減するため、ℓ₂,₁-ノルムに基づくペアワイズクラス間距離基準の使用。
• 手動でのチューニングや追加パラメータを必要とせず、各クラスペアに対する適応的重みを学習する自己重み付けメカニズムの導入。
• 困難なℓ₂,₁-ノルム最大化問題を解くために再重み付け最適化アルゴリズムを採用し、グローバル収束を達成。
• 反復的再重み付けにより最適な射影行列を導出し、異なる初期化値に対しても高速な収束性と安定性を確保。
• 次元削減および多クラス分類への応用を実施し、合成データおよび実世界のデータセットを用いた評価を実施。

実験結果

リサーチクエスチョン

• RQ1 全データ平均に依存せずに、エッジクラスを多クラスLDAで軽減する方法は何か？
• RQ2 ℓ₂,₁-ノルムに基づく距離基準は、クラス間分散計算における外れ値へのロバスト性を向上させ得るか？
• RQ3 追加のハイパーパrameterを必要とせず、クラスペアに対する適応的重みを自動で学習する方法は何か？
• RQ4 提案手法は、既存のロバストLDA変種と比較して、より高速な収束性と高い分類精度を達成するか？
• RQ5 実世界の応用で一般的なデータ損傷やノイズ環境下でも、本手法の性能は良好か？

主な発見

• SWRLDAは、COIL20, COIL100, Isolet, 20Newsgroups, CMU PIE, YaleB などの合成データおよび実世界のデータセットにおいて、最先端の手法と同等またはそれ以上の分類精度を達成した。
• 20Newsgroups などの大規模データセットでは、他の手法と比較して最大15倍の高速性を示し、優れた計算効率を実証した。
• すべてのデータセットでたった4イテレーションで収束したため、異なるランダム初期化に対しても高速な収束性と安定性を示した。
• SWRLDAはデータ損傷に対しても高いロバスト性を示した。CMU PIEおよびYaleBでは、1クラスあたり80％のサンプルが損傷しても、性能低下が最小限に抑えられ、競合手法を大きく上回った。
• 50回の異なるランダム初期化において、目的関数が安定した値に収束したため、実用的にグローバル最適解に到達していることが示された。
• 自己重み付け機構により、遠く離れたクラスペア（例：エッジクラス）の重みが適切に低下した一方で、非エッジクラス間の意味のある分離性は維持された。これにより、クラス分離問題が効果的に解決された。