[논문 리뷰] Improving Unsupervised Image Clustering With Robust Learning

Sungwon Park, Sungwon Han외 5명|arXiv (Cornell University)|2020. 12. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 9

한 줄 요약

이 논문은 노이즈가 있는 가짜 레이블을 필터링하고 모델 예측을 개선함으로써 비지도 이미지 클러스터링 성능을 햖थ한 강건한 학습 기반 재학습 프레임워크인 RUC를 제안한다. MixMatch, 레이블 스무딩, 공동 학습과 함께 신뢰도 기반, 거리 기반, 하이브리드 필터링을 결합함으로써 RUC는 과신도를 감소시키고 성능을 향상시켜 최신 기준 성능(예: STL-10에서 86.7%)을 달성하며, 적대적 노이즈에 대해서도 뛰어난 강건성을 확보한다.

ABSTRACT

Unsupervised image clustering methods often introduce alternative objectives to indirectly train the model and are subject to faulty predictions and overconfident results. To overcome these challenges, the current research proposes an innovative model RUC that is inspired by robust learning. RUC's novelty is at utilizing pseudo-labels of existing image clustering models as a noisy dataset that may include misclassified samples. Its retraining process can revise misaligned knowledge and alleviate the overconfidence problem in predictions. The model's flexible structure makes it possible to be used as an add-on module to other clustering methods and helps them achieve better performance on multiple datasets. Extensive experiments show that the proposed model can adjust the model confidence with better calibration and gain additional robustness against adversarial noise.

연구 동기 및 목표

• 비지도 이미지 클러스터링에서 과신도와 노이즈가 있는 가짜 레이블이 모델 성능을 떨어뜨리는 문제를 해결하기 위해.
• 오차가 발생한 샘플을 필터링하는 강건한 학습 프레임워크를 사용해 기존 모델을 재학습함으로써 클러스터링 성능을 향상시키기 위해.
• 지상 진술 레이블이 필요 없이 모델의 캘리브레이션과 적대적 노이즈에 대한 강건성을 향상시키기 위해.
• 다양한 비지도 클러스터링 모델에 적용할 수 있는 즉시 사용 가능한 모듈을 개발하기 위해.

제안 방법

• RUC는 사전 학습된 클러스터링 모델의 가짜 레이블을 노이즈가 있는 데이터셋으로 간주하고, 신뢰도 기반, 거리 기반, 또는 하이브리드 필터링 전략을 통해 청소된 샘플을 식별한다.
• 청소된 샘플은 레이블이 부여된 데이터로 사용되며, 나머지 샘플은 반감독 학습 설정에서 레이블이 없는 데이터로 간주된다.
• MixMatch가 사용되어 레이블이 부여된 데이터와 레이블이 없는 데이터를 모두 활용하고 일관성 정규화 및 가짜 레이블링을 적용한다.
• 레이블 스무딩이 적용되어 과신도를 감소시키고 최적화 과정에서 노이즈 레이블의 영향을 최소화한다.
• 두 개의 네트워크를 사용한 공동 학습을 통해 학습을 안정화하고 청소되지 않은 샘플에서 오인한 오류의 누적을 줄인다.
• 청소된 집합은 매 에포크마다 공수정을 통해 재평가되고 업데이트되어 고품질의 지도 학습을 유지한다.

실험 결과

연구 질문

• RQ1 강건한 학습 기법이 비지도 이미지 클러스터링 모델의 과신도를 효과적으로 줄일 수 있는가?
• RQ2 기존 클러스터링 모델에서 유도된 노이즈가 있는 가짜 레이블을 어떻게 필터링하여 후속 성능을 향상시킬 수 있는가?
• RQ3 재학습 프레임워크가 최신 비지도 클러스터링 방법의 정확도와 캘리브레이션을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 방법이 클러스터링 작업에서 적대적 변형에 대해 강건성을 향상시키는가?

주요 결과

• RUC는 최신 기준 성능을 기록한 SCAN 모델에 적용했을 때 STL-10 데이터셋에서 정확도를 81.4%에서 86.7%로 5.3%p 향상시켰다.
• CIFAR-10에서 RUC는 90.3%의 클러스터링 정확도를 달성하여 현재 최고의 성능를 초월했다.
• RUC의 기대 캘리브레이션 오차(ECE)는 기반 모델보다 유의미하게 낮아, 더 나은 신뢰도 캘리브레이션을 나타낸다.
• 정성적 분석 결과 RUC는 오분류를 감소시키고 학습 에포크 수에 따라 더 매끄럽고 균형 잡힌 클래스 분포를 만들어 냈다.
• RUC는 FGSM 및 BIM 적대적 공격에 대해 뛰어난 강건성을 보였으며, 노이즈 제거 및 캘리브레이션 구성 요소 덕분에 다른 방법들을 능가했다.
• 절단 실험 결과 RUC의 모든 구성 요소—특히 세 가지 필터링 전략—이 성능 향상에 필수적임을 확인했다.