[논문 리뷰] Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders

Fengfu Li, Hong Qiao외 2명|arXiv (Cornell University)|2017. 03. 23.

Image Retrieval and Classification Techniques참고 문헌 34인용 수 16

한 줄 요약

이 논문은 완전 컨volution형 오토인코더(FCAE)를 통한 특징 학습과 소프트 k-means를 이용한 클러스터링을 동시에 최적화하는 통합 딥 클러스터링 프레임워크인 판별적으로 강화된 클러스터링(DBC)을 제안한다. 고점수 할당에 초점을 맞추고 저점수 할당은 억제하는 판별적 강화 분포를 적용함으로써 DBC는 클러스터의 순도를 향상시키고 기준 이미지 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Traditional image clustering methods take a two-step approach, feature learning and clustering, sequentially. However, recent research results demonstrated that combining the separated phases in a unified framework and training them jointly can achieve a better performance. In this paper, we first introduce fully convolutional auto-encoders for image feature learning and then propose a unified clustering framework to learn image representations and cluster centers jointly based on a fully convolutional auto-encoder and soft $k$-means scores. At initial stages of the learning procedure, the representations extracted from the auto-encoder may not be very discriminative for latter clustering. We address this issue by adopting a boosted discriminative distribution, where high score assignments are highlighted and low score ones are de-emphasized. With the gradually boosted discrimination, clustering assignment scores are discriminated and cluster purities are enlarged. Experiments on several vision benchmark datasets show that our methods can achieve a state-of-the-art performance.

연구 동기 및 목표

• 특징 학습과 클러스터링을 분리하는 전통적인 이중 단계 이미지 클러스터링 방법의 한계를 해결하여 최적화되지 않은 표현을 초래하는 문제를 해결한다.
• 종래의 엔드 투 엔드 클러스터링 모델에서 초기 학습 단계에서의 비판별적 특징 문제를 해결하기 위해 판별적으로 강화된 학습 전략을 도입한다.
• 층별 사전 훈련이 필요 없이 빠르고 효과적인 특징 추출을 가능하게 하는 엔드 투 엔드 학습이 가능한 완전 컨볼루션 오토인코더(FCAE)를 개발한다.
• FCAE와 소프트 k-means 클러스터링을 공동 최적화 프레임워크에 통합하여 표현 품질과 클러스터 할당 정확도를 향상시킨다.
• 자기 스피드 학습과 동적 점수 강화 및 정규화를 활용하여 표준 비전 벤치마크에서 뛰어난 클러스터링 성능을 달성한다.

제안 방법

• 층별 사전 훈련 없이도 엔드 투 엔드 훈련이 가능한 완전 컨볼루션 오토인코더(FCAE)를 제안하며, 이는 컨볼루션 및 디컨볼루션 레이어, 풀링 및 언풀링 레이어, 배치 정규화를 포함한다.
• 특징 학습 후 디코더 브런치를 제거하고 인코더 위에 소프트 k-means 레이어를 스택하여 공동 클러스터링 및 표현 학습을 수행한다.
• 소프트 할당 점수에 강화 요소 α를 적용하는 판별적으로 강화된 손실 함수를 도입하여 고신뢰도 할당에 초점을 맞추고 저신뢰도 할당은 억제한다.
• 각 클러스터의 강화된 점수 합을 기반으로 한 정규화 전략을 사용하여 학습 안정성과 수렴 성능을 향상시킨다. $ n_j = \igsum_i s_{ij}^\alpha $
• 특징과 클러스터 할당이 공동으로 최적화되는 자기 스피드 학습 절차를 구현하며, 강화 요소 α를 에포크 수에 따라 점진적으로 증가시킨다.
• 체인 규칙을 사용하여 역전파를 위한 기울기를 유도함으로써 소프트 k-means 레이어를 통해 역전파를 수행함으로써 FCAE와 클러스터링 구성 요소를 엔드 투 엔드로 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 층별 사전 훈련 없이도 엔드 투 엔드 훈련이 가능한 완전 컨볼루션 오토인코더(FCAE)는 특징 학습 효율성과 성능 향상에 기여할 수 있는가?
• RQ2 학습 중 소프트 할당 점수에 판별적 강화를 적용할 경우 클러스터 순도와 전체 클러스터링 정확도에 어떤 영향을 미치는가?
• RQ3 강화된 점수에 대한 다양한 정규화 전략은 모델 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 FCAE의 초기화 방식은 DBC 프레임워크의 최종 클러스터링 성능에 어떤 영향을 미치는가?
• RQ5 자기 스피드 학습 절차를 통해 표현 학습과 클러스터링을 공동 최적화하는 방식은 이미지 클러스터링 벤치마크에서 순차적 또는 비강화 공동 최적화 방법을 능가할 수 있는가?

주요 결과

• 제안된 FCAE는 층별 사전 훈련이 필요 없이도 이미지 클러스터링에서 최신 기술 수준의 성능을 달성하며, 더 빠르고 효과적인 엔드 투 엔드 훈련을 가능하게 한다.
• 판별적으로 강화된 클러스터링(DBC) 프레임워크는 강화 요소 α를 통해 고신뢰도 할당에 초점을 맞춤으로써 클러스터 순도와 할당 정확도를 크게 향상시킨다.
• 각 클러스터의 $ n_j = \igsum_i s_{ij}^\alpha $ 를 기반으로 한 정규화 전략은 일정 정규화 및 합 기반 정규화보다 우수한 성능을 보이며, 더 나은 수렴성과 성능 향상을 이끈다.
• 절단 분석 결과, DBC는 무작위 FCAE 초기화 조건에서도 잘 작동하지만, 충분히 훈련된 FCAE로 초기화할 경우 성능이 크게 향상됨을 확인했다.
• 다양한 기준 데이터셋에서 DBC는 기존 방법들인 DEC 및 기타 통합 클러스터링 접근법과 비교해도 뛰어난 클러스터링 정확도(ACC)와 정규화 상호정보량(NMI)을 달성한다.
• 시각화 결과는 DBC 프레임워크가 판별적 특징을 성공적으로 학습하고 밀도 높고 잘 분리된 클러스터를 형성함을 확인하며, 강화 메커니즘의 효과성을 입증한다.