[論文レビュー] Robust Kernel (Cross-) Covariance Operators in Reproducing Kernel Hilbert Space toward Kernel Methods

Md Ashad Alam, Kenji Fukumizu+1 more|arXiv (Cornell University)|Feb 17, 2016

Face and Expression Recognition参考文献 32被引用数 4

ひとこと要約

本稿では、2次損失の代わりに一般化損失関数を用いることで、外れ値に対してより頑健な核共分散（CO）および核共変動（CCO）作用素を提案し、外れ値に対して感受性が低い核線形判別分析（KCCA）を実現する。この手法は、核化された反復加重最小二乗法（KIRWLS）を用い、合成データおよび画像遺伝学データにおいて、従来手法および最先端手法を上回る性能を示し、より高い頑健性と分類精度を達成する。

ABSTRACT

To the best of our knowledge, there are no general well-founded robust methods for statistical unsupervised learning. Most of the unsupervised methods explicitly or implicitly depend on the kernel covariance operator (kernel CO) or kernel cross-covariance operator (kernel CCO). They are sensitive to contaminated data, even when using bounded positive definite kernels. First, we propose robust kernel covariance operator (robust kernel CO) and robust kernel crosscovariance operator (robust kernel CCO) based on a generalized loss function instead of the quadratic loss function. Second, we propose influence function of classical kernel canonical correlation analysis (classical kernel CCA). Third, using this influence function, we propose a visualization method to detect influential observations from two sets of data. Finally, we propose a method based on robust kernel CO and robust kernel CCO, called robust kernel CCA, which is designed for contaminated data and less sensitive to noise than classical kernel CCA. The principles we describe also apply to many kernel methods which must deal with the issue of kernel CO or kernel CCO. Experiments on synthesized and imaging genetics analysis demonstrate that the proposed visualization and robust kernel CCA can be applied effectively to both ideal data and contaminated data. The robust methods show the superior performance over the state-of-the-art methods.

研究の動機と目的

• 汚染済みデータが存在する状況においても、理論的裏付けのある頑健な非教師付き核学習手法の不足に対処すること。
• 古典的核COおよびCCOよりも外れ値に対して感受性が低い、頑健な核共分散および核共変動作用素の開発。
• 古典的核CCAの影響関数（IF）を導出することで、データの汚染に対する感受性を定量化すること。
• 核CCAの影響関数を用いた、2つのデータセットにおける影響力のある（外れ値の）観測値を検出する可視化手法の提案。
• 頑健なCOおよびCCOに基づく頑健な核CCAの導入により、ノイズが多いおよび高次元のデータにおける性能向上。

提案手法

• 2次損失の代わりに一般化損失関数（例：Huber型）を用いることで、外れ値に対する感受性を低減した頑健な核COおよびCCOの提案。
• 古典的核CCAの影響関数（IF）を導出し、データの汚染に対する感受性を定量化。
• 核CCAの影響関数を用いた、2つのデータセットにおける影響力のある観測値を検出する可視化技術の開発。
• 頑健なCOおよびCCOを組み合わせることで、外れ値が存在する状況でも頑健な推定を可能にする頑健な核CCAの導入。
• 効率的な頑健な核作用素の計算を可能にする、核化された反復加重最小二乗法（KIRWLS）アルゴリズムの採用。
• 実世界のデータ（画像遺伝学およびUCIデータセット）に本手法を適用し、分類および特徴抽出に応用。

実験結果

リサーチクエスチョン

• RQ1 非教師付き核学習における汚染に対する核共分散および核共変動作用素をどのように頑健化できるか？
• RQ2 古典的核CCAの影響関数とは何か？また、外れ値に対する感受性をどのように明らかにできるか？
• RQ3 核CCAの影響関数に基づく可視化手法は、2つのデータセットにおける影響力のある観測値を効果的に検出できるか？
• RQ4 頑健な核CCAは、古典的核CCA、hsicCCA、ktaCCAと比較して、頑健性および分類精度の面で優れているか？
• RQ5 提案された頑健なフレームワークは、COおよびCCOに依存する他の核手法へ一般化可能か？

主な発見

• ワイン、乳癌組織、糖尿病、リンパ腫の各データセットにおいて、頑健な核CCAは古典的核CCAよりも低い分類誤差を達成し、特に低次元特徴空間では顕著な優位性を示す。
• ワインデータセットでは、古典的および頑健な核CCAともに2つのコアリネア変数で2.81％の誤差を達成するが、頑健なCCAは汚染下でも安定性を維持する。
• 高次元のリンパ腫データセット（4026特徴）では、頑健な核CCAは2つのコアリネア変数で0.00％の誤差を達成し、次元の呪いのため失敗するhsicCCAおよびktaCCAを上回る。
• 影響関数の可視化により、合成データおよび実際の画像遺伝学データの両方で影響力のある観測値が適切に同定され、本手法の診断能力を裏付ける。
• hsicCCAおよびktaCCAは高次元設定ですべてのコアリネア変数を抽出できないのに対し、頑健な核CCAは優れた性能を示すことが、表3のアスタリスクからも示されている。
• KIRWLSアルゴリズムにより、頑健な核作用素の効率的計算が可能となり、スケーラビリティおよび実用的導入を支援する。