[논문 리뷰] Information Recovery-Driven Deep Incomplete Multiview Clustering Network

Chengliang Liu, Jie Wen외 4명|arXiv (Cornell University)|2023. 04. 02.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 자기주의 주의와 재귀적 그래프 복원 메커니즘을 갖춘 두 단계의 트랜스포머 기반 오토에인코더를 통해 결손된 시야를 동시에 복원하고 강건하고 구분력 있는 표현을 학습하는 새로운 딥 인complete 다중시각 클러스터링 프레임워크인 RecFormer을 제안한다. 이 방법은 교차 시야 상호작용과 기하학적 인지 복원을 효과적으로 활용하여 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Incomplete multi-view clustering is a hot and emerging topic. It is well known that unavoidable data incompleteness greatly weakens the effective information of multi-view data. To date, existing incomplete multi-view clustering methods usually bypass unavailable views according to prior missing information, which is considered as a second-best scheme based on evasion. Other methods that attempt to recover missing information are mostly applicable to specific two-view datasets. To handle these problems, in this paper, we propose an information recovery-driven deep incomplete multi-view clustering network, termed as RecFormer. Concretely, a two-stage autoencoder network with the self-attention structure is built to synchronously extract high-level semantic representations of multiple views and recover the missing data. Besides, we develop a recurrent graph reconstruction mechanism that cleverly leverages the restored views to promote the representation learning and the further data reconstruction. Visualization of recovery results are given and sufficient experimental results confirm that our RecFormer has obvious advantages over other top methods.

연구 동기 및 목표

• 일부 시야가 결손된 다중시각 데이터에서 클러스터링 성능이 저하되는 문제를 해결한다.
• 기존 방법들이 결손된 시야를 건너뛰거나 특정 이중시각 가정에 의존하는 한계를 극복한다.
• 여러 시야에서 임의의 결손 시야 패턴을 처리할 수 있는 일반화 가능한 프레임워크를 개발한다.
• 시야 복원과 클러스터링을 통합된 엔드 투 엔드 학습 가능한 아키텍처로 통합하여 표현 학습을 향상시킨다.
• 재귀적 그래프 제약 조건을 통해 기하학적 인지 복원을 통해 복원된 시야와 표현을 정밀하게 개선함으로써 클러스터링 성능을 향상시킨다.

제안 방법

• 교차 시야 오토에인코더를 사용하여 결손된 시야를 복원하는 두 단계 학습 프레임워크 설계: 1단계는 다중 헤드 자기주의 주의를 통해 교차 시야 특징 상호작용을 수행한다.
• 트랜스포머 스타일의 인코더-디코더 모듈을 구현하여 고수준 의미 표현 학습과 시야 간 정보 교환을 가능하게 한다.
• 데이터의 기하학적 구조를 활용하여 반복적으로 복원된 시야를 정밀하게 개선하는 구조 인지 재귀적 그래프 제약 조건을 도입한다.
• 복원 과정을 안내하고 학습 중 결손 데이터의 영향을 억제하기 위해 인complete 마스크 행렬을 통합한다.
• 재구성 손실, 클러스터링 손실, 그래프 정규화를 결합한 공동 최적화 목표 함수를 사용하여 시야 복원과 표현 학습을 통합한다.
• t-SNE 시각화와 아블레이션 연구를 통해 프레임워크 내 각 구성 요소의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 프레임워크는 다중시각 데이터의 결손된 시야를 효과적으로 복원하면서도 기저의 기하학적 구조를 유지할 수 있는가?
• RQ2 시야 복원과 표현 학습을 통합적으로 학습하는 것이 분리된 접근 방식에 비해 클러스터링 성능을 얼마나 향상시키는가?
• RQ3 제안된 재귀적 그래프 제약 조건은 복원된 시야의 품질과 후속 클러스터링에 얼마나 기여하는가?
• RQ4 모델 성능이 β(재구성 가중치) 및 K(그래프 이웃 수)와 같은 하이퍼파라미터에 얼마나 민감한가?
• RQ5 두 단계 학습 전략은 단일 단계 대비 더 나은 수렴과 표현 품질을 이끌어내는가?

주요 결과

• 50% 결손 시야 조건에서 손글씨 데이터셋에서 RecFormer은 최고의 클러스터링 정확도(91.74%)와 정규화된 상호정보량(83.39%)을 기록하여 비교된 최신 기술 수준의 모든 방법을 압도한다.
• NH_Face 데이터셋에서 50% 결손 비율 조건 하에 RecFormer은 정확도 95.40%와 NMI 92.01%를 달성하여 뛰어난 구분 능력을 입증한다.
• 아블레이션 연구 결과, 인complete 마스크 또는 2단계를 제거할 경우 성능 저하가 심각하게 발생함(예: 마스크 없이 ACC가 91.74%에서 55.40%로 감소)을 통해 이 요소들이 핵심적인 역할을 한다는 것을 입증한다.
• 복원된 시야를 활용해 정교한 표현 학습을 수행하는 2단계를 포함함으로써 단일 단계 기반 모델 대비 ACC에서 1.8% 향상된 성능을 기록한다.
• 재귀적 그래프 제약 조건은 국소 및 전반적인 데이터 구조를 유지함으로써 클러스터링 성능을 향상시키며, 더 명확하고 분리 가능한 클러스터를 보여주는 개선된 t-SNE 시각화로 이를 입증한다.
• 하이퍼파라미터 민감도 분석 결과, Handwritten 및 Caltech7 데이터셋에서 β ∈ [10⁻³, 10] 및 K ∈ [5, 15] 범위에서 최적의 성능을 기록함을 확인하여 파라미터 선택에 대한 강건성을 입증한다.