[논문 리뷰] GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering

Chuang Niu, Jun Zhang외 2명|arXiv (Cornell University)|2020. 02. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 52인용 수 10

한 줄 요약

GATCluster는 사전 처리 없이 직접 의미적 클러스터 레이블을 예측하는 자기지도 학습 가우시안-어텐션 네트워크를 제안한다. 변환 불변성, 분리 가능성 최대화, 엔트로피 정규화, 어텐션 매핑의 네 가지 비지도 학습 과제를 통해 일급 인코딩된 특징을 학습하고 임의의 해법을 방지한다. 이 방법은 이미지 클러스터링 벤치마크에서 최신 기술 수준의 성능을 달성하며, 메모리 효율적인 이단계 학습 전략을 통해 대용량 이미지 처리도 효율적으로 수행한다.

ABSTRACT

We propose a self-supervised Gaussian ATtention network for image Clustering (GATCluster). Rather than extracting intermediate features first and then performing the traditional clustering algorithm, GATCluster directly outputs semantic cluster labels without further post-processing. Theoretically, we give a Label Feature Theorem to guarantee the learned features are one-hot encoded vectors, and the trivial solutions are avoided. To train the GATCluster in a completely unsupervised manner, we design four self-learning tasks with the constraints of transformation invariance, separability maximization, entropy analysis, and attention mapping. Specifically, the transformation invariance and separability maximization tasks learn the relationships between sample pairs. The entropy analysis task aims to avoid trivial solutions. To capture the object-oriented semantics, we design a self-supervised attention mechanism that includes a parameterized attention module and a soft-attention loss. All the guiding signals for clustering are self-generated during the training process. Moreover, we develop a two-step learning algorithm that is memory-efficient for clustering large-size images. Extensive experiments demonstrate the superiority of our proposed method in comparison with the state-of-the-art image clustering benchmarks. Our code has been made publicly available at https://github.com/niuchuangnn/GATCluster.

연구 동기 및 목표

• 중간 단계의 특징 추출이나 사후 처리에 의존하지 않고 비지도 이미지 클러스터링을 위한 분류 가능한 의미 특징을 학습하는 데 도전한다.
• 모든 샘플이 하나의 클러스터에 할당되는 임의의 해법을 방지하기 위해 엔트로피 최대화와 레이블 특징에 대한 $l_1$-노름 제약 조건을 강제한다.
• 지역적 분류 가능한 영역에 민감한 파arameterized 어텐션 메커니즘을 통합하여 클러스터링의 객체 중심 의미 이해를 향상시킨다.
• 통계적 가짜 타겟을 사용하는 메모리 효율적인 이단계 학습 알고리즘을 통해 대용량 이미지(예: $128\times 128$ 이상)에서도 효과적인 학습을 가능하게 한다.
• 모든 학습 신호가 학습 중에 생성되므로 외부 감독이 필요 없는 완전한 자기지도 학습 프레임워크를 개발한다.

제안 방법

• 모델은 레이블 특징 정리에 따라 직접 일급 인코딩된 레이블 특징을 출력하여 학습된 특징이 클러스터링에 적합하고 임의의 해법을 방지함을 보장한다.
• 네 가지 자기지도 학습 과제를 설계함: (1) 동일한 이미지의 증강된 뷰 간 유사도를 최대화하기 위한 변환 불변성; (2) 샘플 쌍 간의 유사도와 차이를 동시에 향상시키기 위한 분리 가능성 최대화; (3) 클러스터 간 샘플 분포의 균형을 유도하고 붕괴를 방지하기 위한 엔트로피 분석과 $l_1$-노름 제약 조건; (4) 소프트 어텐션 손실을 갖는 파arameterized 가우시안 커널 기반 어텐션 모듈로 국소적 분류 가능한 영역을 강조함.
• 이단계 학습 알고리즘을 제안함: 첫 번째 단계에서는 큰 배치에서 분할-병합 방식으로 가짜 타겟을 계산하고, 두 번째 단계에서는 이러한 가짜 타겟을 사용해 소형 배치로 감독 학습을 수행함으로써 메모리 효율성을 확보함.
• 모든 손실 함수를 교대 방식이 아닌 동시에 최적화함으로써 학습 안정성과 수렴 성능을 향상시킴.
• 어텐션 메커니즘은 미분 가능한 가우시안 커널을 사용해 고해상도 어텐션 맵을 생성하며, 분석 결과 $6\times 6$ 해상도에서 최적 성능을 기록함.

실험 결과

연구 질문

• RQ1 비지도 딥 클러스터링 모델이 중간 단계의 특징 추출이나 사후 처리 없이 직접 의미 클러스터 레이블을 예측할 수 있는가?
• RQ2 비지도 딥 클러스터링에서 모든 샘플이 하나의 클러스터로 수렴하는 임의의 해법을 효과적으로 방지할 수 있는가?
• RQ3 지역적 분류 가능한 영역을 강조하는 어텐션 메커니즘이 객체 중심 의미 클러스터링에 어느 정도 향상시키는가?
• RQ4 제안된 방법은 $128\times 128$와 같은 대용량 이미지에 대해 높은 클러스터링 정확도와 메모리 효율성을 유지하면서 확장 가능한가?
• RQ5 다양한 이미지 크기와 어텐션 맵 해상도가 최종 클러스터링 성능에 어떤 영향을 미치는가?

주요 결과

• STL10에서 GATCluster는 정확도 0.583(최고), 0.537(평균), 0.033(표준편차)를 기록하며 최신 기술 수준의 방법들을 능가한다.
• ImageNet-10에서 모델은 $128\times 128$ 이미지 크기에서 0.762(최고) 및 0.735(평균)의 정확도를 달성했으며, $96\times 96$ 입력보다 뚜렷한 향상이 있었음.
• $6\times 6$ 어텐션 맵 해상도에서 최고 성능을 기록했으며, 0.762(최고) 및 0.735(평균)의 정확도로 더 낮거나 더 높은 해상도보다 뛰어남.
• 이미지 해상도가 $128\times 128$를 초과하면 모델 깊이 증가와 데이터셋 크기 제한으로 인해 성능이 정점에 도달하거나 저하됨을 확인하여, 이미지 해상도와 모델 용량 사이의 상충 관계를 확인함.
• 분석 결과, 변환 불변성, 분리 가능성, 엔트로피, 어텐션의 네 가지 구성 요소 모두 성능 향상에 기여하며, 전체 모델 설정에서 최고의 성능을 기록함.
• 이단계 학습 알고리즘이 메모리 소비를 줄여 대용량 이미지(96×96 초과) 처리가 가능하게 함으로써 효과적인 학습이 가능해짐.