[論文レビュー] The role of dimensionality reduction in linear classification

Weiran Wang, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|May 26, 2014

Neural Networks and Applications参考文献 27被引用数 3

ひとこと要約

本論文は、補助座標を用いて非線形次元削減（DR）マッピングと線形分類器を同時に最適化する、新規で効率的なアルゴリズムを提案する。これにより、従来のフィルタ法よりも優れた性能を示すエンド・ツー・エンドの学習が可能になる。本手法は、潜在空間におけるクラスの線形分離性を最大化するようにクラスを圧縮することで、高速な推論と最先端の分類精度を達成する。また、基底関数の数を調整することで、実行時間と精度のトレードオフをユーザーが自在に制御できる。

ABSTRACT

Dimensionality reduction (DR) is often used as a preprocessing step in classification, but usually one first fixes the DR mapping, possibly using label information, and then learns a classifier (a filter approach). Best performance would be obtained by optimizing the classification error jointly over DR mapping and classifier (a wrapper approach), but this is a difficult nonconvex problem, particularly with nonlinear DR. Using the method of auxiliary coordinates, we give a simple, efficient algorithm to train a combination of nonlinear DR and a classifier, and apply it to a RBF mapping with a linear SVM. This alternates steps where we train the RBF mapping and a linear SVM as usual regression and classification, respectively, with a closed-form step that coordinates both. The resulting nonlinear low-dimensional classifier achieves classification errors competitive with the state-of-the-art but is fast at training and testing, and allows the user to trade off runtime for classification accuracy easily. We then study the role of nonlinear DR in linear classification, and the interplay between the DR mapping, the number of latent dimensions and the number of classes. When trained jointly, the DR mapping takes an extreme role in eliminating variation: it tends to collapse classes in latent space, erasing all manifold structure, and lay out class centroids so they are linearly separable with maximum margin.

研究の動機と目的

• フィルタ法による次元削減の限界に対処する。すなわち、DRと分類器が逐次的に学習されるため、最適な性能が得られないこと。
• 分類誤差を直接最小化する、スケーラブルで効率的かつ汎用的なラッパー手法を開発し、DRマッピングと分類器を共同で最適化する。
• 非線形DRが線形分類に与える真の役割を解明する。特に、潜在空間の表現が一般化性能や分離性にどのように影響を与えるかを調査する。
• 標準の回帰およびSVMソルバを再利用できる実用的で即挿し可能な手法を提供し、調整可能な精度/実行時間のトレードオフを実現する。
• 共同最適化下での最適DRが、多様体構造をすべて消去し、潜在空間でマージンを最大にするようにクラスを圧縮することを示す。

提案手法

• 非凸なDRマッピングFと線形SVM分類器gの共同最適化を、補助座標法により凸部分問題の逐次的最適化に変換する。
• RBFに基づく非線形DRマッピングFの回帰による学習と、標準的なSVM最適化による線形SVM分類器gの更新を交互に実行する。
• Fとgの間で閉形式の調整ステップを組み込み、各反復で共同目的関数が最小化されることを保証する。
• DRマッピングに正則化項λR(F)を導入し、過学習を防ぎ、モデルの複雑さを制御する。
• FにRBFネットワークを、gに線形SVMを適用し、テストサンプルに対する明示的で高速な推論を可能にする。
• 本手法はスケーラブルかつ並列化可能であり、回帰およびSVMソルバの標準実装を再利用する。

実験結果

リサーチクエスチョン

• RQ1 DRと分類器を共同最適化する際、非線形次元削減が線形分類性能を向上させる真の役割は何か？
• RQ2 分類誤差をDRと分類器の両方で直接最小化する場合、潜在空間の表現は、代理目的関数を用いる場合と比べてどのように変化するか？
• RQ3 共同最適化フレームワークは、LDA や PCA などの標準的なフィルタ法よりも、分類精度と効率性の面で優れているか？
• RQ4 線形分類器と共同最適化する際、DRマッピングがデータの多様体構造をどれだけ保持するか、あるいは消去するか？
• RQ5 潜在次元数Lとクラス数が、最適DRマッピングおよび分類性能に与える影響はどの程度か？

主な発見

• 提案手法の共同最適化アルゴリズムは、ベンチマークデータセットで最先端の分類誤差を達成しながらも、高速な学習および推論時間を維持する。
• 共同最適化下では、同じクラスに属するすべてのデータポイントが潜在空間内で1つの点に圧縮され、多様体構造が完全に消去される。
• 最適DRマッピングは、クラス重心を潜在空間に配置し、最大マージンで線形分離可能となるようにする。
• 本手法は、独立したランダムノイズとラベルに依存しない変動（望ましくない自由度）の両方を効果的に除去し、極めて強力なノイズ除去を実現する。
• アルゴリズムは共同目的関数の局所最適解に収束し、収束が保証され、性能が向上する反復的フィルタ手法と見なせる。
• 結果から、クラス分離度やクラス内分散に基づく従来のフィルタ法は正当化されるが、直接的な共同最適化によっても上回れることが示唆される。