[論文レビュー] Sufficient dimension reduction for classification using principal optimal transport direction

Cheng Meng, Jun Yu+3 more|PubMed|Oct 19, 2020

Face and Expression Recognition参考文献 13被引用数 8

ひとこと要約

本稿では、分類のための新しい十分次元削減手法である主最適輸送方向（POTD）を提案する。POTDは、クラス間の最適輸送カップリングの主方向を用いて、SDR部分空間を推定する。POTDは、モーメントに基づく仮定ではなく、輸送幾何学を活用することで、最先端の手法を上回り、理想的な条件下では真の部分空間を一貫して回復し、実験的評価でも優れた分類精度を示す。

ABSTRACT

Sufficient dimension reduction is used pervasively as a supervised dimension reduction approach. Most existing sufficient dimension reduction methods are developed for data with a continuous response and may have an unsatisfactory performance for the categorical response, especially for the binary-response. To address this issue, we propose a novel estimation method of sufficient dimension reduction subspace (SDR subspace) using optimal transport. The proposed method, named principal optimal transport direction (POTD), estimates the basis of the SDR subspace using the principal directions of the optimal transport coupling between the data respecting different response categories. The proposed method also reveals the relationship among three seemingly irrelevant topics, i.e., sufficient dimension reduction, support vector machine, and optimal transport. We study the asymptotic properties of POTD and show that in the cases when the class labels contain no error, POTD estimates the SDR subspace exclusively. Empirical studies show POTD outperforms most of the state-of-the-art linear dimension reduction methods.

研究の動機と目的

• 従来の十分次元削減（SDR）手法が、特に2値分類において、第一および第二モーメントがクラス間で同一となる場合に失敗するという限界を克服すること。
• 分布的仮定やモーメント条件に依存しない、頑健なSDR推定フレームワークを構築することにより、C字型の曲線のような複雑なデータ構造においても正確な部分空間回復を可能にすること。
• 最適輸送、SDR、およびサポートベクターマシンの間の理論的かつ実用的な関連を確立し、最適輸送からの移動ベクトルがSVMの法線ベクトルと密接に一致することを明らかにすること。
• 非楕円的または非対称な分布を示すデータにおいて、POTDがSIR、SAVE、PCAといった既存の線形次元削減手法を上回る分類精度と部分空間推定性能を示すことを実証すること。

提案手法

• POTDは、異なる応答カテゴリに属するデータポイント間の最適輸送カップリングを計算することでSDR部分空間を構築し、輸送コストに$L_2$-ノルムを用いる。
• 最適輸送マップから移動ベクトルを抽出し、クラス間での質量移動の方向と大きさを表現する。
• これらの移動ベクトルの主方向をSDR部分空間の基底として用い、移動ベクトルに対する主成分分析により推定する。
• 理論的裏付けがある：ラベル誤りなしまたは「分離」条件のもとでは、POTDは真のSDR部分空間を一意に一貫して推定する。
• 連続的応答に対しても、応答を2群に二値化し、それらの間で輸送計画を計算することで、アプローチを拡張する。
• 計算実装には、近似最適輸送のためのSinkhornアルゴリズムを用い、正則化パラメータが性能に与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 最適輸送は、2値分類におけるモーメントベースのSDR手法の代替として、より頑健でモデルフリーな選択肢を提供できるか？
• RQ2 最適輸送からの移動ベクトルは、サポートベクターマシンの分離超平面の法線ベクトルとどのように関連しているか？
• RQ3 クラス条件付き分布の第一および第二モーメントが同一である場合、POTDは真のSDR部分空間を一貫して推定できるか？
• RQ4 多様なデータ構造において、POTDはSIR、SAVE、PCAと比較して、下流の分類精度で優れているか？
• RQ5 輸送正則化（例：Sinkhornパラメータ）および代替の距離尺度が、最終的な次元削減性能に与える影響は何か？

主な発見

• POTDは、C字型曲線の例を含む、すべてのテストデータセットにおいて、PCAおよび大多数の最先端線形次元削減手法を上回る分類精度を一貫して示す。
• C字型曲線の例では、POTDのみが最初の2つの予測変数で張られる真のSDR部分空間を成功裏に回復するが、SIRやSAVEはクラス間で第一および第二モーメントが同一であるため失敗する。
• 最適輸送からの移動ベクトルは、SVMの分離超平面の法線ベクトルと非常に一致しており、最適輸送とサポートベクターマシンの間の理論的リンクを確立する。
• 理想的な条件（ラベル誤りなし、データが分離されている）のもとでは、POTDは真のSDR部分空間を一意に推定し、漸近的一貫性を示す。
• 応答が連続的であっても、応答を二値化し、同じ輸送ベースのフレームワークを適用することで、効果的に機能する。
• 実験的結果から、POTDはK近傍法分類におけるKの値にかかわらず安定した性能を維持しており、下流の分類器の選択に対して頑健であることが示された。