[논문 리뷰] Deep Multi-View Clustering via Multiple Embedding.

Bingqian Lin, Yuan Xie외 2명|arXiv (Cornell University)|2018. 08. 19.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 5

한 줄 요약

이 논문은 깊이 있는 특징, 다중 시각 융합, 클러스터링 할당을 함께 학습하는 엔드 투 엔드 프레임워크인 다중 임bedding을 통한 딥 다중 시각 클러스터링(DMVC-ME)을 제안한다. 이는 소프트 할당을 정교화하기 위해 KL 발산을 사용한다. 이미지 데이터셋에서 보완적인 시각 정보를 포착하고 클러스터링 友好的 표현을 학습함으로써 뛰어난 클러스터링 성능을 달성한다.

ABSTRACT

Exploring the information among multiple views usually leads to more promising clustering performance. Most existing multi-view clustering algorithms perform clustering separately: first extracts multiple handcrafted features or deep features, then conducts traditional clustering such as spectral clustering or K-means. However, the learned features may not often work well for clustering. To overcome this problem, we propose the Deep Multi-View Clustering via Multiple Embedding (DMVC-ME), which learns deep embedded features, multi-view fusion mechanism and clustering assignment simultaneously in an end-to-end manner. Specifically, we adopt a KL divergence to refine the soft clustering assignment with the help of a multi-view fused target distribution. The parameters are updated via an efficient alternative optimization scheme. As a result, more clustering-friendly features can be learned and the complementary traits among different views can be well captured. We demonstrate the effectiveness of our approach on several challenging image datasets, where significant superiority can be found over single/multi-view baselines and the state-of-the-art multi-view clustering methods.

연구 동기 및 목표

• 기존의 다중 시각 클러스터링 방법이 특징 추출과 클러스터링을 별도의 단계로 다루어 클러스터링에 최적화되지 않은 표현을 유도하는 한계를 해결하기 위해.
• 엔드 투 엔드 방식으로 특징 학습, 다중 시각 융합, 클러스터링 할당을 함께 최적화하여 클러스터링 친화적인 깊이 특징을 학습하기 위해.
• 통합 최적화 프레임워크를 통해 다중 시각 간의 보완적인 정보를 활용하여 클러스터링 성능을 향상시키기 위해.
• KL 발산을 통해 다중 시각 융합 타겟 분포를 이용해 소프트 클러스터링 할당을 정교화하여 할당 품질을 향상시키기 위해.

제안 방법

• 이 방법은 특징 학습, 다중 시각 융합, 클러스터링 할당을 함께 최적화하는 엔드 투 엔드 학습 체계를 사용한다.
• 소프트 클러스터링 할당의 정교화를 유도하기 위해 KL 발산을 사용하는 다중 시각 융합 타겟 분포를 구성한다.
• 네트워크 파라미터 갱신과 클러스터링 할당 정교화를 번갈아가며 수행함으로써 특징과 할당의 공동 학습을 가능하게 한다.
• 다양한 시각의 특징이 융합되는 공유 표현 공간을 사용하여 분류 능력을 향상시킨다.
• KL 발산 손실을 적용하여 예측된 소프트 할당을 융합 타겟 분포와 일치시켜 일관성 있고 정확한 클러스터링을 촉진한다.
• 엔드 투 엔드 방식으로 데이터에서 직접 깊이 표현을 학습함으로써 수작업 특징을 회피한다.

실험 결과

연구 질문

• RQ1 특징 학습, 다중 시각 융합, 클러스터링 할당을 엔드 투 엔드로 공동 최적화하는 것이 순차적 파이프라인에 비해 클러스터링 성능을 향상시키는가?
• RQ2 KL 발산을 통해 다중 시각 융합 타겟 분포가 소프트 클러스터링 할당을 얼마나 효과적으로 향상시키는가?
• RQ3 다양한 시각 간의 보완적 특징이 공동 최적화될 경우 클러스터링 결과에 얼마나 기여하는가?
• RQ4 제안된 방법이 벤치마크 이미지 데이터셋에서 최첨단 단일 시각 및 다중 시각 클러스터링 기준선을 초월하는가?

주요 결과

• 제안된 DMVC-ME 방법은 여러 어려운 이미지 데이터셋에서 단일 시각 및 다중 시각 클러스터링 기준선에 비해 뚜렷한 성능 향상을 달성한다.
• 특징, 융합, 클러스터링의 엔드 투 엔드 공동 최적화는 순차적 접근에 비해 더 클러스터링 친화적인 표현을 이끌어낸다.
• KL 발산과 다중 시각 융합 타겟 분포를 활용함으로써 소프트 클러스터링 할당의 품질이 향상된다.
• 이 방법은 서로 다른 시각 간의 보완적 정보를 효과적으로 포착하여 전체 클러스터링 성능를 향상시킨다.
• 실험 결과는 제안된 프레임워크의 효과성을 확인하며, 벤치마크 데이터셋에서 최첨단 성능을 달성한다.