[논문 리뷰] Low-rank Multi-view Clustering in Third-Order Tensor Space

Ming Yin, Junbin Gao외 2명|arXiv (Cornell University)|2016. 08. 30.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 t-곱과 원형 컨볼루션을 사용하여 다중 시야 데이터를 제3차 텐서로 모델링함으로써 고차 상관관계를 포착하는 새로운 저랭크 다중 시야 군집화 방법인 SCMV-3DT를 제안한다. 자기 표현을 공동 희소성과 저랭크 정규화와 함께 강제함으로써 얼굴, 물체, 숫자 및 텍스트 데이터셋에서 우수한 군집 성능을 달성하며, 다양한 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

The plenty information from multiple views data as well as the complementary information among different views are usually beneficial to various tasks, e.g., clustering, classification, de-noising. Multi-view subspace clustering is based on the fact that the multi-view data are generated from a latent subspace. To recover the underlying subspace structure, the success of the sparse and/or low-rank subspace clustering has been witnessed recently. Despite some state-of-the-art subspace clustering approaches can numerically handle multi-view data, by simultaneously exploring all possible pairwise correlation within views, the high order statistics is often disregarded which can only be captured by simultaneously utilizing all views. As a consequence, the clustering performance for multi-view data is compromised. To address this issue, in this paper, a novel multi-view clustering method is proposed by using extit{t-product} in third-order tensor space. Based on the circular convolution operation, multi-view data can be effectively represented by a extit{t-linear} combination with sparse and low-rank penalty using "self-expressiveness". Our extensive experimental results on facial, object, digits image and text data demonstrate that the proposed method outperforms the state-of-the-art methods in terms of many criteria.

연구 동기 및 목표

• 기존의 다중 시야 군집화 방법이 이변수 간 상관관계에만 초점을 맞추며 다중 시야 데이터에 내재된 고차 통계적 의존성은 간과하는 한계를 해결한다.
• 모든 시야를 동시에 고려하여 내재된 다중 순서 상관관계를 활용함으로써 시야 간 불일치와 분산 문제를 해결한다.
• 저랭크 및 희소 표현을 텐서 기반 구조에 통합하여 군집 강건성과 정확도를 향상시키는 통합 프레임워크를 개발한다.
• t-곱과 원형 컨볼루션 연산을 활용하여 다중 시야 데이터를 제3차 텐서로 모델링함으로써 원래의 공간적 구조를 유지하고 효과적인 저랭크 근사화를 가능하게 한다.
• 공동으로 학습된 공통의 저차원 표현을 통해 시야 간 일치를 포착하면서도 희소성과 저랭크 구조를 유지함으로써 군집 성능을 향상시킨다.

제안 방법

• t-곱을 사용하여 다중 시야 데이터를 제3차 텐서로 표현함으로써 원형 컨볼루션을 통해 모든 시야 간 고차 상관관계를 모델링한다.
• 각 시야가 t-곱을 통해 모든 시야의 선형 조합으로 재구성되는 자기 표현 모델을 설정하며, 표현 텐서에 희소성과 저랭크 구조를 강제한다.
• t-곱 기반 표현 텐서에 핵심 노름(저랭크를 위해)과 ℓ1-노름(희소성을 위해)을 함께 적용하여 구조화되고 특징적인 군집 표현을 유도하는 공동 최적화 문제를 도입한다.
• 학습된 텐서 표현에 마르코프 체인을 통한 스펙트럴 군집화를 적용하여 최종 군집 할당을 도출한다.
• 비볼록 최적화 문제를 효율적으로 해결하기 위해 t-곱과 저랭크 제약 조건을 포함한 분할 상향 방법(ADMM)을 사용한다.
• 모든 시야의 원래 다차원 구조를 유지하기 위해 시야별로 펼치기나 연결을 피함으로써 내재된 상관관계를 유지한다.

실험 결과

연구 질문

• RQ1 t-곱을 통해 다중 시야 데이터를 제3차 텐서로 모델링함으로써 이변수 상호작용을 넘어서는 고차 상관관계를 포착함으로써 군집 성능 향상이 가능한가?
• RQ2 t-곱 기반 표현 텐서에 희소성과 저랭크 구조를 동시에 강제하면, 단일 또는 무정규화 방법보다 더 나은 군집 결과를 도출하는가?
• RQ3 다양한 데이터셋에서 최신 기술 대비 제안된 방법의 정확도, 강건성 및 일관성 측면에서의 성능 비교는 어떠한가?
• RQ4 t-곱과 원형 컨볼루션의 사용이 전통적인 행렬 기반 또는 연결 기반 방법에 비해 다중 시야 데이터의 내재된 구조를 얼마나 잘 유지하는가?
• RQ5 제안된 방법이 이질적이거나 분산된 다중 시야 데이터에서 시야 간 불일치를 효과적으로 완화하고 군집 성능을 향상시킬 수 있는가?

주요 결과

• ORL 얼굴 데이터베이스에서 SCMV-3DT는 정확도 0.7947 ± 0.0283을 기록하여 두 번째로 우수한 성능을 보인 LT-MSC(0.7587 ± 0.0283)를 모든 평가 지표에서 능가했다.
• UCI-2view 데이터셋에서 SCMV-3DT는 정확도 91.00%를 기록하며 최소한의 변동성(±0.0000)을 보였고, 동일한 설정에서 MultiNMF(85.10%)와 CCo-reguSC(81.52%)를 크게 앞섰다.
• COIL-20 물체 데이터셋에서 SCMV-3DT는 정확도 0.9800 ± 0.0000을 기록하여 LRSD-MSC(0.8215 ± 0.0634)에 비해 거의 완벽한 군집 성능를 보였다.
• MNIST 숫자 데이터셋에서 SCMV-3DT는 F-score 0.9418 ± 0.0000과 조정된 랜드 지수 0.9352 ± 0.0000을 기록하여 LT-MSC와 LRSD-MSC를 포함한 모든 베이스라인을 능가했다.
• 20 Newsgroups 텍스트 데이터셋에서 SCMV-3DT는 F-score 0.9298 ± 0.0000과 NMI 0.9352 ± 0.0000을 기록하여 고차원적이고 희소한 텍스트 데이터에서 강력한 성능을 보였다.
• 모든 테스트 데이터셋에서 ACC, F-score, NMI, AR 등 모든 지표에서 최고 또는 근접한 최고 점수를 지속적으로 확보하여, 제안된 방법의 강건성과 최신 기술 대비 우수성을 확인했다.