[논문 리뷰] Robust Multiple Kernel k-means Clustering using Min-Max Optimization

Seojin Bang, Yaoliang Yu외 1명|arXiv (Cornell University)|2018. 03. 06.

Face and Expression Recognition참고 문헌 1인용 수 7

한 줄 요약

이 논문은 다중뷰 학습에서 악성 방해 공격에 대응하기 위해 최소-최대 최적화 프레임워크를 사용하는 강건한 다중 커널 k-평균 군집화 방법인 MML-MKKC를 제안한다. 커널 계수 최적화를 악성 방해 공격에 의해 발생하는 가장 악성인 경우의 편향에 대한 최대화 문제로 공식화함으로써, 노이즈나 악성 뷰에 의해 군집이 왜곡되지 않도록 보장하며, 시뮬레이션과 실제 암 아형 식별에서 기존의 최소-최소 접근 방식보다 뛰어난 성능을 보인다.

ABSTRACT

Multiple kernel learning is a type of multiview learning that combines different data modalities by capturing view-specific patterns using kernels. Although supervised multiple kernel learning has been extensively studied, until recently, only a few unsupervised approaches have been proposed. In the meanwhile, adversarial learning has recently received much attention. Many works have been proposed to defend against adversarial examples. However, little is known about the effect of adversarial perturbation in the context of multiview learning, and even less in the unsupervised case. In this study, we show that adversarial features added to a view can make the existing approaches with the min-max formulation in multiple kernel clustering yield unfavorable clusters. To address this problem and inspired by recent works in adversarial learning, we propose a multiple kernel clustering method with the min-max framework that aims to be robust to such adversarial perturbation. We evaluate the robustness of our method on simulation data under different types of adversarial perturbations and show that it outperforms several compared existing methods. In the real data analysis, We demonstrate the utility of our method on a real-world problem.

연구 동기 및 목표

• 기존의 비지도 다중뷰 군집화 방법이 커널 학습에서 악성 방해 공격에 얼마나 취약한지 조사한다.
• 다중 커널 k-평균 군집화에서 표준적인 min-H - min-theta 공식화가 노이즈 또는 여분의 특징을 도입하는 악성 뷰에 취약하다는 것을 규명한다.
• 어떤 뷰가 악성 특징에 의해 손상되더라도 성능을 유지할 수 있는 강건한 군집화 프레임워크를 개발한다.
• 통제된 악성 방해 공격을 가진 시뮬레이션 데이터와 실제 생물학적 데이터를 활용해 방법을 평가한다.

제안 방법

• 내부 최대화는 가장 악성인 커널 조합을 식별하여 군집 내 분산을 최대화하는 min-H - max-theta 최적화 프레임워크를 제안한다.
• 외부 최소화는 가장 악성인 군집 내 분산을 최소화하는 H(군집 할당)를 찾는다. 이는 악성 뷰에 대한 강건성을 보장한다.
• 과적합을 방지하고 일반화 성능을 향상시키기 위해 커널 계수 θ에 l2 정규화를 통합한다.
• 블록-좌표 강하 방식을 사용하여 H(군집 할당)와 θ(커널 가중치)를 번갈아가며 최적화한다.
• 딥러닝의 악성 훈련에 영감을 받은 최소-최대 공식화를 사용하지만, 비지도 다중뷰 군집화에 적응시켰다.
• 악성 뷰를 최악의 시나리오로 간주하여 커널 계수 학습 중에 강건한 최적화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 무작위 노이즈나 여분의 특징과 같은 악성 방해 공격이 기존의 다중 커널 k-평균 군집화 방법의 성능을 심각하게 떨어뜨길 수 있는가?
• RQ2 기존의 min-H - min-theta 접근 방식에 비해 min-H - max-theta 최적화 프레임워크가 악성 뷰에 대해 강건성을 향상시키는가?
• RQ3 제안된 MML-MKKC 방법은 다양한 수준의 악성 방해 공격이 가해진 시뮬레이션 데이터에서 얼마나 잘 작동하는가?
• RQ4 실제 생물학적 데이터에서, 악성 특징을 포함한 모든 뷰를 효과적으로 활용하여 생물학적으로 의미 있는 군집을 식별할 수 있는가?
• RQ5 BRCA 및 GBM 전사체 분석 데이터에 대해 제안된 방법의 군집 결과에서 어떤 생물학적 통찰을 도출할 수 있는가?

주요 결과

• 제안된 MML-MKKC 방법은 악성 방해 공격 하에서 조정된 랜드 지수(adjRI), 정규화된 상호정보량(normMI), 순수도 측면에서 기존의 최소-최소 다중 커널 k-평균 방법보다 뚜렷이 뛰어나다.
• 뷰당 20개의 여분 변수가 포함된 시뮬레이션 데이터에서 MML-MKKC는 adjRI 1.000, normMI 1.443, 순수도 1.000을 기록하여 모든 기준선을 압도했다.
• 악성 특징이 존재할 경우, 표준적인 min-min 방법들은 흔히 손상된 뷰를 무시하고 다른 뷰에 크게 의존하여 최적의 군집화를 이루지 못했다.
• 실제 BRCA 및 GBM 데이터에서 MML-MKKC는 조정된 p-값 < 0.1을 기록한 생물학적으로 관련성이 높은 KEGG 경로, 예를 들어 '접착점'과 'ECM-수용체 상호작용'을 식별했다.
• 가장 좋은 시뮬레이션 케이스에서 MML-MKKC는 100% 순수도와 1.000 adjRI를 달성하여, 모든 뷰(악성 뷰 포함)를 사용할 때 거의 완벽한 군집화를 보였다.
• 경로 풍부도 분석 결과, MML-MKKC에서 유도된 군집은 BRCA 및 GBM 데이터셋 양쪽 모두에서 'MAPK 신호전달'과 'PI3K-Akt 신호전달'과 같은 암 관련 경로에서 유의미하게 풍부하게 나타났다.