[논문 리뷰] Iterative Views Agreement: An Iterative Low-Rank based Structured Optimization Method to Multi-View Spectral Clustering

Yang Wang, Wenjie Zhang외 4명|arXiv (Cornell University)|2016. 08. 19.

Face and Expression Recognition참고 문헌 25인용 수 124

한 줄 요약

논문은 다중 그래프 라플라스 정규화와 뷰별 저랭크 및 희소 표현을 결합하여 다중 뷰 스펙트럴 클러스터링에서 합의를 달성하는 반복적이고 저랭크 기반의 구조적 최적화 방법을 제안하며, 특히 노이즈 하에서 기존 방법들보다 성능을 개선합니다.

ABSTRACT

Multi-view spectral clustering, which aims at yielding an agreement or consensus data objects grouping across multi-views with their graph laplacian matrices, is a fundamental clustering problem. Among the existing methods, Low-Rank Representation (LRR) based method is quite superior in terms of its effectiveness, intuitiveness and robustness to noise corruptions. However, it aggressively tries to learn a common low-dimensional subspace for multi-view data, while inattentively ignoring the local manifold structure in each view, which is critically important to the spectral clustering; worse still, the low-rank minimization is enforced to achieve the data correlation consensus among all views, failing to flexibly preserve the local manifold structure for each view. In this paper, 1) we propose a multi-graph laplacian regularized LRR with each graph laplacian corresponding to one view to characterize its local manifold structure. 2) Instead of directly enforcing the low-rank minimization among all views for correlation consensus, we separately impose low-rank constraint on each view, coupled with a mutual structural consensus constraint, where it is able to not only well preserve the local manifold structure but also serve as a constraint for that from other views, which iteratively makes the views more agreeable. Extensive experiments on real-world multi-view data sets demonstrate its superiority.

연구 동기 및 목표

• 다중 뷰 스펙트럴 클러스터링에서 단일 공통 부분공간 학습의 한계를 동기부여하고 해결한다.
• 각 뷰마다 그래프 라플라시안 정규화를 통해 뷰 특정 로컬 매니폴드 구조를 보존한다.
• 개별 뷰 구조를 무너뜨리지 않으면서 뷰 간 합의를 강제하는 반복적 뷰 합의 메커니즘을 도입한다.
• 뷰 간 일관되고 강건한 저랭크 표현을 얻기 위해 LADMAP를 사용하여 새로운 최적화 형식을 개발하고 해결한다.
• 현 시점의 최첨단 기준선들보다 현실 세계 다중 뷰 데이터 세트에서 더 우수한 클러스터링 성능을 시연한다.

제안 방법

• 각 뷰마다 하나씩의 다중 그래프 라플라시안 정규화기와 저랭크 표현을 결합한다.
• Z_i에 희소성 제약을 부여하여 로컬 이웃 구조를 포착한다.
• 모든 뷰 간의 뷰 특이적 표현(Z_i) 간의 차이를 최소화하는 뷰 합의 항을 도입한다.
• Z_i, E_i, G_i 변수와 함께 선형화된 교대 방향 최적화법(LADMAP)을 사용해 문제를 구성하고 해결한다.
• 비음수를 강제하고 효율적인 업데이트를 가능하게 하기 위해 보조 변수 G_i를 도입한다.
• Z_i, E_i, G_i 및 라그랑주 승수를 반복적으로 업데이트하고, 다른 뷰의 영향을 활용해 합의를 유도한다(다른 뷰를 합산하는 항이 Z_i 업데이트에 포함된다).
• 수렴 후 각 뷰의 친화도를 평균해 결합된 유사도 행렬 W를 구성하고 W에 대해 스펙트럴 클러스터링을 수행한다.
• 주요 식은 저랭크, 희소성, 그래프 정규화 및 뷰 합의 항을 포함하는 다중 뷰 목적함수와 그래프 라플라시안 정규화 항 Tr(Z_i^T L_i Z_i), 그리고 SVT를 이용한 Z_i에 대한 LADMAP 기반 업데이트(Z_i, E_i, G_i)로 구성된다.

실험 결과

연구 질문

• RQ1 다양한 뷰의 로컬 매니폴드 구조를 보존하면서 공유 클러스터링 친화적 표현을 학습하는 방법은 무엇인가?
• RQ2 크로스 뷰 합의를 갖춘 반복적 뷰별 저랭크 학습이 노이즈 하에서 다중 뷰 스펙트럴 클러스터링을 개선할 수 있는가?
• RQ3 뷰별 그래프 정규화와 합의 제약을 도입하면 기존의 동화 정규화(co-regularized)나 코-트레이닝 방법보다 우수한가?
• RQ4 현실적인 특징 손상 하에서 제안된 방법이 표준 다중 뷰 클러스터링 벤치마크에 미치는 영향은 어떤가?

주요 결과

Method	UCI_ACC	AwA_ACC	NUS_ACC	UCI_NMI	AwA_NMI	NUS_NMI
MFMSC	43.81	17.13	22.81	41.57	11.48	12.21
MAASC	51.74	19.44	25.13	47.85	12.93	11.86
CCAMSC	73.24	24.04	27.56	56.51	15.62	14.56
CoMVSC	80.27	29.93	33.63	63.82	17.30	7.07
Co-training	79.22	29.06	34.25	62.07	18.05	8.10
RLRR	83.67	31.49	35.27	81.20	25.57	18.29
Ours	86.39	37.22	41.02	85.45	31.74	20.61

• 제안된 방법은 세 가지 데이터셋에서 강력한 baselines보다 높은 클러스터링 정확도(ACC)와 정규화 상호정보량(NMI)을 달성한다.
• UCI 숫자 데이터, AwA, NUS에서 각각 ACC 86.39, 37.22, 41.02 및 NMI 85.45, 31.74, 20.61로 최상위를 기록한다.
• MFMSC, MAASC, CCAMSC, CoMVSC, 코-트레이닝, RLRR과 비교해 제안된 방법이 ACC와 NMI를 모두 지속적으로 향상시킨다.
• 다중 그래프 정규화와 반복적 뷰 합의 메커니즘이 특히 특징의 노이즈 손상 시 성능 향상에 크게 기여한다.
• 제안된 방법은 코난(subspace projection) 방법(CCAMSC)과 코-정규화 방법(CoMVSC, Co-training)을 통해 각 뷰의 로컬 구조를 더 잘 보존하고 강건한 합의를 달성함으로써 더 우수하다.