[論文レビュー] Robust supervised classification and feature selection using a primal-dual method

Michel Barlaud, Antonin Chambolle+1 more|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用数 8

ひとこと要約

本稿は、Huber損失と核、ℓ₂,₁、ℓ₁,₂ノルムを用いた構造的スパarsityを介して、高次元データにおける教師あり分類および特徴選択のためのロバストで制約付きのプリマルドゥアル最適化手法を提案する。クラス中心の行列を導入することで収束を加速させ、特徴の信頼性を向上させ、収束の保証と合成および生物学的データセットにおける強力な実験的性能を達成している。

ABSTRACT

This paper deals with supervised classification and feature selection in high dimensional space. A classical approach is to project data on a low dimensional space and classify by minimizing an appropriate quadratic cost. A strict control on sparsity is moreover obtained by adding an $\ell_1$ constraint, here on the matrix of weights used for projecting the data. Tuning the sparsity bound results in selecting the relevant features for supervised classification. It is well known that using a quadratic cost is not robust to outliers. We cope with this problem by using an $\ell_1$ norm both for the constraint and for the loss function. In this case, the criterion is convex but not gradient Lipschitz anymore. Another second issue is that we optimize simultaneously the projection matrix and the centers used for classification. In this paper, we provide a novel tailored constrained primal-dual method to compute jointly selected features and classifiers. Extending our primal-dual method to other criteria is easy provided that efficient projection (on the dual ball for the loss data term) and prox (for the regularization term) algorithms are available. We illustrate such an extension in the case of a Frobenius norm for the loss term. We provide a convergence proof of our primal-dual method, and demonstrate its effectiveness on three datasets (one synthetic, two from biological data) on which we compare $\ell_1$ and $\ell_2$ costs.

研究の動機と目的

• 高次元データにおいて外れ値が存在する状況下で、従来の2次損失に基づく分類手法に見られるロバスト性の欠如を解消すること。
• 損失関数にクラス中心の行列を導入することで、特徴選択における収束速度と特徴シグネチャの信頼性を向上させること。
• 核ノルム、ℓ₂,₁-ノルム、ℓ₁,₂-ノルムを用いた制約付き定式化により、グループまたは排他的な特徴パターンを保持する構造的スパarsityを強制すること。
• ℓ₁およびHuber損失を含む非滑らかでLipschitz連続でない基準に対して、収束が保証されるプリマルドゥアルアルゴリズムを開発すること。
• 実世界の生物学的データセットおよび合成ベンチマークにおいて、本手法の有効性を示し、優れたロバスト性とスパarsityを示すこと。

提案手法

• 本手法は、Huber損失に基づく目的関数を最小化し、投影行列にℓ₁正則化を施し、標準的なFrobeniusノルムの代わりにクラス中心の行列を用いることで、ロバスト性を向上させる。
• 重み行列へのℓ₁ノルムの制約を用いた制約付き定式化を採用し、ℓ₁ボールへの効率的な射影を用いることで、高価なハイパーパrameterチューニングを回避する。
• 構造的スパarsityは、低ランク構造のための核ノルム、グループスパarsityのためのℓ₂,₁-ノルム、排他的スパarsityのためのℓ₁,₂-ノルムに基づく制約により強制され、それぞれに専用の射影アルゴリズムが用意されている。
• 非滑らか項を扱うために、ℓ₁ノルムの計算を双対化し、proximalオペレータを活用した、特化したプリマルドゥアルアルゴリズムが開発された。
• アルゴリズムはChambolle-Pock法のオーバー緩和版を用い、収束はエルゴディック反復およびステップサイズとリプシッツ定数に関する条件を用いて証明された。
• Huber損失への拡張は、Huber関数の共役関数を用いて損失項を双対化することで実現され、凸性を維持したままロバスト性を確保した。

実験結果

リサーチクエスチョン

• RQ1 損失関数にクラス中心の行列を導入することで、高次元分類における収束速度と特徴シグネチャの安定性が顕著に向上するか？
• RQ2 Frobeniusノルムの代わりにℓ₁またはHuber損失を用いることで、教師あり特徴選択における外れ値に対するロバスト性がどのように向上するか？
• RQ3 効率的な射影を用いた制約付きプリマルドゥアル最適化により、核、ℓ₂,₁、ℓ₁,₂ノルムによる構造的スパarsityを効果的に強制できるか？
• RQ4 ℓ₁およびHuber損失を含む非滑らかでLipschitz連続でない基準に適用されたプリマルドゥアル法に対して、どのような収束保証を確立できるか？
• RQ5 実際の生物学的および合成データセットにおいて、本手法は従来のLASSOベースおよびグループLASSO法と比較して、性能およびロバスト性で優れているか？

主な発見

• 損失関数にクラス中心の行列（μ）を組み込むことで、全テストデータセットにおいて収束が著しく加速され、選択された特徴シグネチャの信頼性が向上した。
• Frobeniusノルムの代わりにHuber損失を用いることで、特にノイズの多い生物学的データセットにおいて外れ値に対してロバスト性が向上したが、収束速度に悪影響を及げなかった。
• スパarsityのための制約付きℓ₁定式化は、時間のかかるハイパーパrameterチューニングを回避できるため、標準的なペナルティ付きLASSOを上回る性能を示した。
• 提案されたプリマルドゥアルアルゴリズムは、反復回数Nに対してO(1/N)の収束速度を達成し、ステップサイズおよび問題パラメータに関する緩い条件下で収束が保証された。
• 3つの生物学的データセット（質量分析2つ、シングルセル2つ）において、本手法はベースライン手法と比較して高い分類精度とより安定した特徴選択を達成した。
• ℓ₁,₂-ノルム制約のための新規射影アルゴリズムにより、排他的な特徴選択が効果的に可能となり、各クラスごとに異なる遺伝子群を同定できた。これは生物学的解釈において極めて重要である。