[論文レビュー] A Multi-criteria Approach for Fast and Outlier-aware Representative Selection from Manifolds

Mahlagha Sedghi, George Atia+1 more|arXiv (Cornell University)|Mar 12, 2020

Anomaly Detection Techniques and Applications参考文献 37被引用数 4

ひとこと要約

MOSAICは、非線形多様体上に分布する高次元データからの高速で外れ値に強い代表選択を実現する画期的なマルチ基準手法である。MOSAICは、変換空間における全データカバレッジを最大化する凸二次計画問題として代表選択を定式化し、多様性、スパarsityに基づく適合性スコアによる外れ値へのロバストネス、およびランダム化ADMMに基づく実装によるスケーラビリティを実現する。この手法は、合成データおよび実世界のデータセットにおいて、精度、速度、外れ値検出の観点で最先端の手法を上回る性能を発揮する。

ABSTRACT

The problem of representative selection amounts to sampling few informative exemplars from large datasets. This paper presents MOSAIC, a novel representative selection approach from high-dimensional data that may exhibit non-linear structures. Resting upon a novel quadratic formulation, Our method advances a multi-criteria selection approach that maximizes the global representation power of the sampled subset, ensures diversity, and rejects disruptive information by effectively detecting outliers. Through theoretical analyses we characterize the obtained sketch and reveal that the sampled representatives maximize a well-defined notion of data coverage in a transformed space. In addition, we present a highly scalable randomized implementation of the proposed algorithm shown to bring about substantial speedups. MOSAIC's superiority in achieving the desired characteristics of a representative subset all at once while exhibiting remarkable robustness to various outlier types is demonstrated via extensive experiments conducted on both real and synthetic data with comparisons to state-of-the-art algorithms.

研究の動機と目的

• 既存の代表選択手法の限界、すなわち非線形データへの対処不足、外れ値への感受性、解釈可能性の欠如、および単一基準最適化（例：多様性のみまたは情報量のみ）に依存する問題を解決すること。
• 局所的近似やグラフベースの距離に依存せず、グローバルな多様体構造を捉える手法を開発すること。
• 一度の統合フレームワーク内で高い代表性、多様性、外れ値の排除を同時に達成すること。
• 幾何的関数解析に基づく数学的に解釈可能な解を提供することで、機械学習における説明可能性を向上させること。
• ランダム化されたADMMに基づく実装により、大規模データセットへのスケーラブルな展開を可能にし、実行時間を著しく短縮しながら高い性能を維持すること。

提案手法

• 各データポイントの他のすべてのポイントに対する表現力の関係を符号化する凸二次計画問題として代表選択を定式化し、グローバル最適性と初期化に依存しない性質を確保する。
• 符号化ベクトルのスパarsityを用いて外れ値を同定・除外する。低スパarsityは、元の多様体構造からの適合性の欠如を示す。
• カーネルに基づく変換を用いてデータを高次元空間にマップし、非線形表現を可能にする。これにより、グローバルな多様体構造がよりよく捉えられる。
• ADMM（交替方向乗数法）を適用してアルゴリズムをスケーリングし、ランダムサンプリングと反復最適化を用いて大規模データセットでも高速に計算を実行する。
• 関数解析を用いて解の幾何的解釈を導出し、選択された代表点が変換空間における最大データカバレッジに対応することを示す。
• インライアーや外れ値に分離する二重分解を導入し、外れ値検出を副産物として独立して行えるようにする。

実験結果

リサーチクエスチョン

• RQ1 一貫した統合フレームワークが、非線形データにおいて高い代表性、多様性、外れ値へのロバストネスを同時に達成できるか？
• RQ2 局所的近似に依存せずに、凸最適化フレームワーク内でグローバルな多様体構造を効果的に捉えるにはどうすればよいか？
• RQ3 高次元かつ非線形なデータにおいて、符号化ベクトルのスパarsityが外れ値状態の信頼できる指標として機能する程度はどの程度か？
• RQ4 スケーラブルでランダム化された実装は、正確性を維持したまま、正確なソルバーや既存手法に比べて顕著な高速化を達成できるか？
• RQ5 単純な外れ値や構造的外れ値が多数存在するような困難な状況下でも、本手法はどの程度の性能を示すか？

主な発見

• スイスロールデータセット（外れ値：インライアーバランス1:1）において、MOSAICはF1スコア0.930を達成し、FDR（0.889）、L1-KPCA（0.907）、RML（0.828）を大きく上回った。
• 構造的自然画像外れ値を含むフレイ顔データセットにおいて、MOSAICは外れ値比率が増加しても強固な性能を維持するが、FDRその他の手法は急激に性能を低下させた。
• MOSAICのランダム化ADMMベース実装は顕著な高速化を達成し、CVXや他のソルバーよりも著しく高速であり、SSMと同等の性能を示すが、精度は優れている。
• 外れ値検出を用いて画像の顕著領域を効果的に同定し、ビジョン特化の前処理なしにMSRA-Bデータセットで正確なサリエンシーマップを生成した。
• 理論的分析により、選択された代表点がカーネル誘導特徴空間における明確に定義されたデータカバレッジの最大化を実現することが確認され、本手法の有効性に幾何的根拠が与えられた。
• 本フレームワークは、ランダム外れ値、線形従属外れ値、構造的外れ値を含む多様な外れ値タイプに対して、ロバストな性能を示す独立した外れ値検出を可能にした。