[論文レビュー] Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization

Takuya Shimada, Han Bao+2 more|arXiv (Cornell University)|Apr 26, 2019

Anomaly Detection Techniques and Applications参考文献 23被引用数 6

ひとこと要約

本稿では、ペアワイズ類似度、非類似度、およびラベルなしデータを用いた二値分類のための新しい経験的リスク最小化フレームワークを提案する。これをSDU分類と呼ぶ。類似-ラベルなし（SU）、非類似-ラベルなし（DU）、類似-非類似（SD）設定の不偏リスク推定器を導出し、それらを線形アンサンブル（SDDU）で統合することで、幾何的仮定に依存せずに優れた汎化性能を達成し、ベンチマークデータセットにおいてクラスタリングベースのベースラインを上回る。

ABSTRACT

Pairwise similarities and dissimilarities between data points might be easier to obtain than fully labeled data in real-world classification problems, e.g., in privacy-aware situations. To handle such pairwise information, an empirical risk minimization approach has been proposed, giving an unbiased estimator of the classification risk that can be computed only from pairwise similarities and unlabeled data. However, this direction cannot handle pairwise dissimilarities so far. On the other hand, semi-supervised clustering is one of the methods which can use both similarities and dissimilarities. Nevertheless, they typically require strong geometrical assumptions on the data distribution such as the manifold assumption, which may deteriorate the performance. In this paper, we derive an unbiased risk estimator which can handle all of similarities/dissimilarities and unlabeled data. We theoretically establish estimation error bounds and experimentally demonstrate the practical usefulness of our empirical risk minimization method.

研究の動機と目的

• 完全にラベル付けされたデータが高価または機密であるが、ペアワイズ類似度と非類似度が入手可能な現実世界の分類問題に対処すること。
• 既存の類似-ラベルなし（SU）分類を、類似度と非類似度の両方を扱えるように拡張し、より強固で柔軟な弱教師付き学習を可能にすること。
• 類似ペア、非類似ペア、およびラベルなしデータの3種類のデータを統合的に活用する、マニホールド仮定やクラスタ仮定などの幾何的仮定に依存しない統一された経験的リスク最小化フレームワークを構築すること。
• 推定誤差バウンドを用いて、SDとDUリスク推定器を組み合わせることでSU単体よりも優れた性能を理論的に正当化すること。
• SDDU手法をベンチマークデータセット上で実験的に検証し、クラスタリングベースおよびメトリクス学習ベースラインと比較して最先端の性能を示すこと。

提案手法

• ペアワイズ非類似度とラベルなしデータのみを用いた分類のための不偏リスク推定器を導出し、従来のSU分類手法を拡張する（DU分類）。
• ラベルを必要とせず、類似ペアと非類似ペアのみを用いる補完的アプローチとして、類似-非類似（SD）分類を提案する。
• SU、DU、SD分類のリスクを線形アンサンブルにより統合し、正例-負例-ラベルなし（PNU）学習に類似した形でSDU分類フレームワークを構築する。
• 実用的な最適化を可能にするために、二乗損失関数とダブルヘッジ損失関数を用いる。
• 各成分（SU、DU、SD）の推定誤差バウンドを理論的に確立し、リスク推定器の最適な組み合わせをガイドする。
• バイアスとバリアンスのバランスを取るために、3つのリスク推定器（SDDU）を線形結合する。理論的分析は、SDとDUをSUよりも優先することを支持する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ非類似度とラベルなしデータのみを用いて、SU分類のパラダイムを拡張した不偏リスク推定器を構築できるか？
• RQ2 DU、SD、SU分類の推定誤差バウンドはどのように比較できるか？また、どの組み合わせが最も優れた汎化性能を達成するか？
• RQ3 SDとDUリスク推定器を組み合わせることで、SU分類よりも一般化誤差が低減するか？また、その優位性は理論的に正当化できるか？
• RQ4 提案されたSDU分類手法は、幾何的仮定に依存せず、半教師ありクラスタリングおよびメトリクス学習ベースラインを上回る分類精度を実現できるか？
• RQ5 SDU分類におけるリスク推定器（SU、DU、SD）の最適な組み合わせは何か？また、既存の弱教師付き学習フレームワークと比較してどのように異なるか？

主な発見

• SDとDUリスク推定器を組み合わせたSDDU分類手法は、複数のベンチマークデータセットで最良の性能を達成し、K-means、制約付きK-means、スペクトルクラスタリング、ITMLベースラインを上回った。
• d=68のスミッシングデータセットでは、SDDUが68.4%の精度を達成し、次に良い性能を示したITML（62.8%）を上回り、K-means（62.6%）やCKM（62.6%）を大きく上回った。
• d=300のw8aデータセットでは、SDDUが67.2%の精度を達成し、高次元性にもかかわらずITML（56.3%）、CKM（66.0%）、K-means（64.1%）を上回った。
• 理論的分析により、DUとSD分類の推定誤差バウンドがSU分類よりも小さいことが示され、より優れた汎化可能性を示唆した。
• SDDU手法は14個のベンチマークデータセットのうち12個で、すべてのベースライン手法を上回る精度を達成した。特に、ijcnn1、magic、phonemeデータセットでは70%を超える精度を達成した。
• 多様なデータ分布と特徴次元に対してロバストであり、高次元設定（例：d=300）でも一貫した性能向上を示し、実用的価値を確認した。