[論文レビュー] Discriminative Ridge Machine: A Classifier for High-Dimensional Data or Imbalanced Data

Chong Peng, Qiang Cheng|arXiv (Cornell University)|Apr 16, 2019

Face and Expression Recognition参考文献 76被引用数 6

ひとこと要約

本稿では、分類のための新しい分類器として、分類間の判別情報を構造的正則化項を通じて明示的に組み込むことでリッジ回帰を拡張した、判別的リッジマシン（DRM）を提案する。DRMは高次元かつ不均衡なデータにおいて優れた性能を発揮し、小規模データに対しては閉形式解を備え、大規模データに対しては3つの効率的な反復アルゴリズムを提供する。SVM や KRR と比較して、性能が優れている。

ABSTRACT

We introduce a discriminative regression approach to supervised classification in this paper. It estimates a representation model while accounting for discriminativeness between classes, thereby enabling accurate derivation of categorical information. This new type of regression models extends existing models such as ridge, lasso, and group lasso through explicitly incorporating discriminative information. As a special case we focus on a quadratic model that admits a closed-form analytical solution. The corresponding classifier is called discriminative regression machine (DRM). Three iterative algorithms are further established for the DRM to enhance the efficiency and scalability for real applications. Our approach and the algorithms are applicable to general types of data including images, high-dimensional data, and imbalanced data. We compare the DRM with currently state-of-the-art classifiers. Our extensive experimental results show superior performance of the DRM and confirm the effectiveness of the proposed approach.

研究の動機と目的

• 高次元かつ不均衡なデータ環境下で、KNN や SVM といった従来の分類器の限界を解決すること。
• 近傍法における判別情報の欠如を解消するために、クラスレベルの監視情報を回帰フレームワークに統合すること。
• 分類間の分離性とクラス内コンパクト性を明示的に考慮する新しい判別的リッジ回帰モデルの族を構築すること。
• 大規模な高次元かつ不均衡なデータアプリケーションに適したスケーラブルで効率的な分類器を設計すること。
• 提案手法が、精度と頑健性の両面で、既存の最先端分類器を上回ることを理論的および実験的に裏付けること。

提案手法

• クラス判別的情報を構造的正則化項 $ S_w(w) $ を通じて組み込むことで、リッジ、ラッソ、グループラッソを拡張した判別的リッジ回帰モデルを提案する。
• DRM を、閉形式の解析的解が得られる特別な二次計画問題として定式化することで、小規模または高次元データセットにおける高速な推論を可能にする。
• 大規模データ向けに、3つの反復最適化アルゴリズムを導入し、線形カーネルを用いる場合、サンプルサイズに対して線形計算コストであり、全空間収束性が保証されている。
• 二値ラベルではなく、連続的な類似度ベクトルによるソフトラベル監視を採用することで、標準的な KNN よりも豊かな表現学習を可能にする。
• 行列 $ B $ を用いてクラスウェイトを組み込み、小規模なクラスに高い重みを割り当てることで、クラス不均衡に対応する。
• 式 (11) の意思決定ルールを適用して、最大の事後確率を持つクラスを選択し、幾何学的に解釈可能な分類境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 リッジ回帰フレームワークに明示的な判別的情報を組み込むことで、高次元データにおける分類性能を向上させることができるか？
• RQ2 クラス判別的正則化項 $ S_w(w) $ の導入により、標準的なリッジ回帰や KRR と比較して、モデルの精度と頑健性にどのような影響を与えるか？
• RQ3 データレベルのサンプリング手法に依存せずに、DRM が不均衡データセットにおいても高い精度とスケーラビリティを維持できるか、その程度はどの程度か？
• RQ4 大規模データに対して導入された反復アルゴリズムの計算効率と収束特性は、どのように評価できるか？
• RQ5 不均衡かつ高次元のベンチマークにおいて、DRM は SVM や KRR と比較して、正確性、再現率、F1スコアの観点でどの程度優れているか？

主な発見

• DRM は標準的な大規模データセットにおいて、SVM と同等の分類精度を達成しており、その汎用性を確認している。
• 高次元データにおいては、DRM が、SVM や KRR を含む最先端の分類器を著しく上回っている。これは、判別的正則化のおかげである。
• 不均衡データに対しては、データレベルのサンプリング技術に依存せずとも、DRM は強力な性能を維持しており、SMOTE などの技術と組み合わせることでさらに性能が向上する。
• アブレーションスタディにより、判別的項 $ S_w(w) $ が極めて重要であることが確認された。DRM は、すべての $ \beta $ 値およびカーネルタイプ（RBF および多項式）において、KRR よりも一貫して優れた性能を示している。
• 線形 DRM と反復アルゴリズムを組み合わせることで、サンプルサイズに対して線形計算コストを達成し、全空間収束性を保証する。これは、線形 SVM と同等の効率性を実現しながら、より高い精度を提供する。
• DRM の閉形式解により、小規模または高次元データセットにおける高速かつ高精度な推論が可能となり、リアルタイムおよびリソース制約のあるアプリケーションに適している。