[論文レビュー] Robust Multiple Kernel k-means Clustering using Min-Max Optimization

Seojin Bang, Yaoliang Yu+1 more|arXiv (Cornell University)|Mar 6, 2018

Face and Expression Recognition参考文献 1被引用数 7

ひとこと要約

本稿では、多視覚学習における敵対的摂動に対して耐性を持つ、MML-MKKCと呼ばれるロバストな複数カーネルk-均値法を提案する。カーネル係数最適化を最悪の摂動に対する最大化問題として定式化することにより、ノイズや敵対的視覚によってクラスタが歪められるのを防ぎ、シミュレーションおよびがん亜型同定の実世界データにおいて、従来のmin-minアプローチを上回る性能を発揮する。

ABSTRACT

Multiple kernel learning is a type of multiview learning that combines different data modalities by capturing view-specific patterns using kernels. Although supervised multiple kernel learning has been extensively studied, until recently, only a few unsupervised approaches have been proposed. In the meanwhile, adversarial learning has recently received much attention. Many works have been proposed to defend against adversarial examples. However, little is known about the effect of adversarial perturbation in the context of multiview learning, and even less in the unsupervised case. In this study, we show that adversarial features added to a view can make the existing approaches with the min-max formulation in multiple kernel clustering yield unfavorable clusters. To address this problem and inspired by recent works in adversarial learning, we propose a multiple kernel clustering method with the min-max framework that aims to be robust to such adversarial perturbation. We evaluate the robustness of our method on simulation data under different types of adversarial perturbations and show that it outperforms several compared existing methods. In the real data analysis, We demonstrate the utility of our method on a real-world problem.

研究の動機と目的

• 既存の非教師あり多視覚クラスタリング手法がカーネル学習における敵対的摂動に対してどれほど脆弱であるかを調査すること。
• 複数カーネルk-均値法における標準的なmin-H - min-theta定式化が、ノイズや冗長特徴を導入する敵対的視覚に対して感受性を示すことを特定すること。
• 一部の視覚が敵対的特徴によって汚染されても性能を維持できるロバストなクラスタリングフレームワークを開発すること。
• 制御された敵対的摂動を伴うシミュレーテッドデータおよび実世界のがん亜型同定のための生物学的データ上で、手法を評価すること。

提案手法

• 内部の最大化により、クラスタ内分散を最大化する最悪のカーネル組み合わせを特定するmin-H - max-theta最適化フレームワークを提案する。
• 外部の最小化により、最悪のクラスタ内分散を最小化するようなクラスタリング割り当てHを求める。これにより、敵対的視覚に対してロバストな性能が保証される。
• 過学習を防ぎ、一般化性能を向上させるために、カーネル係数θにl2正則化を組み込む。
• ブロック座標降下法を用いて、H（クラスタリング割り当て）とθ（カーネル重み）を交互に最適化する。
• 深層学習における敵対的訓練にインspiredされたmin-max定式化を採用しているが、非教師あり多視覚クラスタリングに適応させたものである。
• 敵対的視覚を最悪のシナリオとして扱うことで、カーネル係数学習段階でロバストな最適化戦略を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダムノイズや冗長特徴などの敵対的摂動が、既存の複数カーネルk-均値法の性能を顕著に低下させる可能性があるか？
• RQ2 標準的なmin-H - min-thetaアプローチと比較して、min-H - max-theta最適化フレームワークが敵対的視覚に対してロバスト性を向上させるか？
• RQ3 提案手法MML-MKKCは、敵対的摂動のレベルが異なるシミュレーテッドデータ上でどれほど高い性能を発揮するか？
• RQ4 実世界のデータにおいて、敵対的特徴を含むすべての視覚を効果的に活用できるか、生物学的に意味のあるクラスタを同定できるか？
• RQ5 BRCAおよびGBMのトランスクリプトームデータに対して、提案手法のクラスタリング結果からどのような生物学的インサイトを抽出できるか？

主な発見

• 提案手法MML-MKKCは、敵対的摂動下でも、調整ランダ指数（adjRI）、正規化相互情報量（normMI）、純度の観点で、既存のmin-min複数カーネルk-均値法を顕著に上回る性能を示した。
• 1視覚あたり20個の冗長変数を含むシミュレーテッドデータにおいて、MML-MKKCはadjRIが1.000、normMIが1.443、純度が1.000を達成し、すべてのベースラインを上回った。
• 敵対的特徴が存在する状況では、標準的なmin-min手法はしばしば摂動を受けた視覚を無視し、他の視覚に過度に依存する傾向にあり、最適でないクラスタリングが得られた。
• 実際のBRCAおよびGBMデータでは、MML-MKKCが「接着斑」および「ECM-レセプター相互作用」などの生物学的に意味のあるKEGG経路を、有意水準p値 < 0.1で有意に豊富に含むクラスタを同定した。
• 最良のシミュレーションケースでは、MML-MKKCが100％の純度および1.000のadjRIを達成し、敵対的視覚を含むすべての視覚を活用した場合にほぼ完璧なクラスタリングを実現した。
• 経路豊富度解析により、MML-MKKCのクラスタは、BRCAおよびGBM両データセットで「MAPKシグナル伝達」および「PI3K-Aktシグナル伝達」などのがん関連経路で顕著に豊富に含まれていることが判明した。