[논문 리뷰] Decoupled Contrastive Multi-View Clustering with High-Order Random Walks

Yiding Lu, Yijie Lin외 4명|arXiv (Cornell University)|2023. 08. 22.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 유사도 그래프에서 고차원 랜덤 워크를 사용하여 가짜 음성(false negative, FN)과 가짜 양성(false positive, FP)을 식별하고, 전역적이고 강건한 쌍 선택을 가능하게 하는 새로운 대비 다중시각 클러스터링 방법인 DIVIDE를 제안한다. 내시각 및 외시각 대비 학습을 별도의 임bedding 공간에서 분리하여 수행함으로써, 클러스터링 성능과 일부 시각이 누락되는 경우에도 강건한 성능을 향상시켰으며, 네 가지 벤치마크에서 완전한 및 불완전한 설정 모두에서 9개의 최신 기술(SOTA) 방법을 초월한다.

ABSTRACT

In recent, some robust contrastive multi-view clustering (MvC) methods have been proposed, which construct data pairs from neighborhoods to alleviate the false negative issue, i.e., some intra-cluster samples are wrongly treated as negative pairs. Although promising performance has been achieved by these methods, the false negative issue is still far from addressed and the false positive issue emerges because all in- and out-of-neighborhood samples are simply treated as positive and negative, respectively. To address the issues, we propose a novel robust method, dubbed decoupled contrastive multi-view clustering with high-order random walks (DIVIDE). In brief, DIVIDE leverages random walks to progressively identify data pairs in a global instead of local manner. As a result, DIVIDE could identify in-neighborhood negatives and out-of-neighborhood positives. Moreover, DIVIDE embraces a novel MvC architecture to perform inter- and intra-view contrastive learning in different embedding spaces, thus boosting clustering performance and embracing the robustness against missing views. To verify the efficacy of DIVIDE, we carry out extensive experiments on four benchmark datasets comparing with nine state-of-the-art MvC methods in both complete and incomplete MvC settings.

연구 동기 및 목표

• 지역적 이웃 기반 쌍 선택으로 인해 지속적으로 발생하는 대비 다중시각 클러스터링에서의 가짜 음성(FN) 및 가짜 양성(FP) 문제를 해결하기 위해.
• 기존의 이웃 기반 방법에서 모든 이웃 샘플을 양성으로, 모든 비이웃 샘플을 음성으로 간주함으로써 발생하는 과도한 보정(over-rectification)과 부족한 보정(under-rectification) 문제를 극복하기 위해.
• 분리된 학습 아키텍처를 통해 시각별 정보를 유지하면서도 교차시각 일致성을 향상시킴으로써 클러스터링 성능을 향상시키기 위해.
• 추론 시 일부 시각이 누락될 수 있는 불완전한 다중시각 설정에서도 강건한 성능을 확보하기 위해.

제안 방법

• 기본 샘플과 이웃 간의 고차원 유사도를 계산하기 위해 유사도 그래프에서 다단계 랜덤 워크를 수행함으로써, 제1차 이웃 범위를 초월한 전역적 데이터 쌍 식별이 가능해짐.
• 고차원 유사도를 통해 이웃 내부의 이질적 클러스터 샘플을 음성으로 식별함(가짜 양성 감소), 비이웃에 속하는 동일 클러스터 샘플을 양성으로 식별함(가짜 음성 감소).
• 각 시각 전용 시amese 인코더와 교차시각 디코더를 사용하여 별도의 임베딩 공간에서 내시각 및 외시각 대비 학습을 수행하는 분리된 대비 학습 프레임워크.
• 학습 안정성을 확보하기 위해 온라인 및 타겟 인코더를 사용하며, EMA 기반 모멘터니 업데이트를 적용함. 완전 연결 네트워크 내부에 BatchNorm 및 ReLU 레이어를 통합함.
• 랜덤 워크 과정은 제100 에포크부터 적용되며, 전이 행렬을 시각화하여 시간이 지남에 따라 점차 가짜 음성 샘플을 탐지하는 경향을 확인함.
• 한 시각의 표현을 다른 시각의 표현을 사용해 특징을 재구성하는 교차시각 디코더를 통합함으로써, 내시각 및 외시각 학습을 혼합하지 않고도 교차시각 일치성을 향상시킴.

실험 결과

연구 질문

• RQ1 유사도 그래프에서 고차원 랜덤 워크가 대비 다중시각 클러스터링에서 가짜 음성 및 가짜 양성 문제를 효과적으로 줄일 수 있는가?
• RQ2 랜덤 워크를 통한 전역적 쌍 선택이 지역적 이웃 기반 쌍 선택에 비해 클러스터링 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 내시각 및 외시각 대비 학습을 분리함으로써 클러스터링 성능과 시각별 표현 학습이 얼마나 향상되는가?
• RQ4 일부 시각이 추론 중에 누락되는 불완전한 다중시각 설정에서 제안된 방법의 성능은 어떠한가?

주요 결과

• DIVIDE는 완전한 및 불완전한 다중시각 설정 모두에서 네 가지 벤치마크 데이터셋(Scene-15, Caltech101, Reuters, LandUse21)에서 최신 기술(SOTA) 수준의 성능을 달성함.
• Reuters 데이터셋에서, 랜덤 워크 기반의 가짜 음성 보정을 적용한 경우 200 에포크에 59.1%의 정확도를 기록한 반면, 적용하지 않은 경우는 56.2%였으며, 이는 제안된 가짜 음성 식별 기법의 효과를 입증함.
• t-SNE 특징 시각화 결과, 랜덤 워크 기반 보정을 적용한 후 클러스터가 훨씬 더 조밀하고 잘 분리됨을 확인함. 특히 제100 에포크 이후에 두드러진 향상이 관찰됨.
• 다단계 랜덤 워크에서 유도된 전이 행렬이 점차 진짜 레이블과 일치함을 확인하여, 제1차 이웃을 초월한 내부 클러스터 샘플을 탐지할 수 있음을 확인함.
• 분리된 아키텍처는 시각별 정보를 유지하면서도 교차시각 일치성을 향상시켜, 공동 학습 프레임워크에 비해 더 나은 클러스터링 성능을 제공함.
• 다양한 추상화 실험(ablation studies)를 통해, 랜덤 워크 메커니즘과 분리된 대비 학습 설계가 모두 본 방법의 뛰어난 성능을 이끌어내는 데 필수적임을 입증함.