[論文レビュー] Discriminative Features via Generalized Eigenvectors

Nikos Karampatziakis, Paul Mineiro|arXiv (Cornell University)|Oct 7, 2013

Machine Learning and Data Classification参考文献 20被引用数 11

ひとこと要約

本稿では、クラス条件付き2次モーメントから一般化固有ベクトルを抽出することによって、マルチクラス分類における判別的特徴のスケーラブルな学習手法を提案する。クラス内共分散行列上で一般化固有値問題を解くことで、不変でロバストかつ高判別性の特徴が得られ、特に線形分類器と組み合わせた場合、複数のタスクで最先端の性能を達成する。

ABSTRACT

Representing examples in a way that is compatible with the underlying classifier can greatly enhance the performance of a learning system. In this paper we investigate scalable techniques for inducing discriminative features by taking advantage of simple second order structure in the data. We focus on multiclass classification and show that features extracted from the generalized eigenvectors of the class conditional second moments lead to classifiers with excellent empirical performance. Moreover, these features have attractive theoretical properties, such as inducing representations that are invariant to linear transformations of the input. We evaluate classifiers built from these features on three different tasks, obtaining state of the art results.

研究の動機と目的

• マルチクラス分類における判別的特徴を学習するためのスケーラブルで計算効率の良い手法の開発。
• 1次モーメント手法を上回る分類器性能の向上を実現するため、クラス条件付き2次モーメント（2次モーメント）の統計的構造を活用すること。
• 入力特徴の線形変換に対して不変性を確保することで、ロバスト性と一般化性能を向上させること。
• 一般化固有値部分問題に分解することで、分散処理および大規模学習が可能になるようにすること。
• 実世界のマルチクラスタスクにおいて、生の特徴や既存の特徴学習手法と比較して、経験的に優れた性能を示すこと。

提案手法

• 各クラス $ i $ に対して、クラス条件付き2次モーメント行列 $ C_i = \mathbb{E}[xx^\top | y=i] $ を計算する。
• クラス $ i $ と $ j $ 間の判別的方向を特定するため、一般化固有値問題 $ C_i v = \lambda C_j v $ を定式化し、比 $ \frac{v^\top C_i v}{v^\top C_j v} $ を最大化する方向 $ v $ を求める。
• 各一般化固有ベクトル $ v $ は、$ v^\top C_j v = 1 $ となるように正規化され、クラス $ i $ では投影 $ v^\top x $ の期待二乗値が $ \lambda $、クラス $ j $ では1となるように保証される。
• 得られた特徴 $ v^\top x $ は、入力 $ x $ の可逆線形変換に対して不変であるため、理論的優位性が確保される。
• 全クラスペアに対して一括してペアワイズ処理を実施し、各ペアから複数の固有ベクトルを抽出することで、豊富で判別性の高い特徴表現を構築する。
• 最終的な分類器は、抽出された特徴を用いて標準的な線形モデル（例えば、多値SVMや多項ロジスティック回帰）で訓練する。

実験結果

リサーチクエスチョン

• RQ1 クラス条件付き2次モーメント行列の一般化固有ベクトルは、マルチクラス分類に適した高判別性特徴を生成できるか？
• RQ2 得られた特徴表現は、入力データの線形変換に対して不変性を保っているか？
• RQ3 これらの特徴に基づく分類器の性能は、生の特徴や他の特徴学習手法を用いた場合と比べてどうか？
• RQ4 この手法は大規模データセットおよび分散コンピューティング環境においても効率的にスケーリング可能か？
• RQ5 有限標本推定と正則化の影響は、抽出された特徴の安定性と精度にどのような影響を及えるか？

主な発見

• 提案手法は、3つの異なるマルチクラス分類タスクで最先端の性能を達成し、生の特徴を用いたベースライン手法を上回る。
• 特徴抽出プロセスは、入力の可逆線形変換に対して不変であるため、入力スケーリングや線形歪みに対してロバストである。
• 計算が効率的であり、一般化固有値問題が独立して解けるため、マップリダスによる集約が可能で、分散環境に適している。
• 特に真のクラス条件付き2次モーメント行列の有効ランクが低い場合に、有限標本でも安定に動作する。
• 一般化固有ベクトルの使用により、簡潔な表現が得られ、後続の分類器の学習が簡素化され、一般化性能が向上する。
• 多様なデータセットにおいて強い経験的性能を示しており、実世界の機械学習システムへの広範な適用可能性が示唆される。