[논문 리뷰] CNN features are also great at unsupervised classification

Joris Guérin, Olivier Gibaru외 2명|arXiv (Cornell University)|2017. 07. 06.

Advanced Neural Network Applications참고 문헌 32인용 수 69

한 줄 요약

이 논문은 ImageNet으로 사전 훈련된 CNN에서 추출한 특징—단순한 클러스터링 알고리즘과 조합할 경우—물체 및 미세 분류를 위한 비지도 이미지 세트 클러스터링에서 최신 기술 수준의 성능을 달성함을 보여준다. 이 접근법은 복잡하고 수작업으로 설계된 클러스터링 방법들을 능가하며, 지도 학습 기반 CNN 특징의 강력한 전이 가능성(transferability)을 입증한다.

ABSTRACT

This paper aims at providing insight on the transferability of deep CNN features to unsupervised problems. We study the impact of different pretrained CNN feature extractors on the problem of image set clustering for object classification as well as fine-grained classification. We propose a rather straightforward pipeline combining deep-feature extraction using a CNN pretrained on ImageNet and a classic clustering algorithm to classify sets of images. This approach is compared to state-of-the-art algorithms in image-clustering and provides better results. These results strengthen the belief that supervised training of deep CNN on large datasets, with a large variability of classes, extracts better features than most carefully designed engineering approaches, even for unsupervised tasks. We also validate our approach on a robotic application, consisting in sorting and storing objects smartly based on clustering.

연구 동기 및 목표

• . 이 논문은 대규모이고 다양한 데이터셋에서 사전 훈련된 깊은 CNN의 특징가 비지도 이미지 클러스터링 작업으로 효과적으로 전이될 수 있는지 조사한다.
• . 복잡한 비지도 이미지 세트 클러스터링 알고리즘과 비교하여, 단순한 파이프라인(즉, CNN 특징 추출 후 표준 클러스터링 적용)의 성능을 평가하고자 한다.
• . 다양한 조명 조건과 배경 조건에서 실세계의 로봇 물체 정렬 및 저장 응용에 대해 이 방법을 검증한다.
• . 배경, 조명, 물체의 방향 변화에 대한 강건성을 평가하기 위해 새로운 도전적인 이미지 세트 클러스터링 데이터셋을 제안한다.
• . 향후 비지도 이미지 클러스터링 분야의 발전이 더 나은 표현 학습보다 더 큰, 더 다양한 훈련 데이터셋에 초점을 맞춰야 할지 이해하고자 한다.

제안 방법

• . Keras에서 제공하는 사전 훈련된 CNN(ResNet50, InceptionV3, VGG16, VGG19, Xception)을 사용하여 이미지 세트에서 깊은 특징을 추출한다. 이들은 ImageNet에서 사전 훈련된 것으로, 이미지 세트의 특징를 추출한다.
• . 특징는 CNN의 최종 완전히 연결된 계층에서 추출되며, 이는 고수준의 의미적 표현을 캡처한다.
• . 추출된 특징에 직접적으로 표준 클러스터링 알고리즘(K-means, 스펙트럴 클러스터링 등)을 적용하며, 추가적인 튜닝이나 적응 없이 수행된다.
• . 이 파이프라인은 여러 공개 데이터셋과 조명, 배경, 물체의 방향이 변하는 조건에서의 도전적인 이미지 클러스터링을 위한 신규로 구축된 데이터셋에서 평가된다.
• . 성능는 표준 평가 지표인 순수도(purity), NMI(정규화된 상호정보량), 클러스터링 정확도를 사용하여 측정된다.
• . 이 방법은 물체의 의미적 콘텐츠를 기반으로 분류하고 저장하는 로봇 정렬 시스템에 적용되었으며, 비지도 이미지 클러스터링만을 사용한다.

실험 결과

연구 질문

• RQ1 . 단순한 클러스터링 알고리즘과 조합했을 때, 사전 훈련된 ImageNet CNN의 특징가 최신 비지도 이미지 세트 클러스터링 알고리즘을 능가할 수 있는가?
• RQ2 . 실세계의 로봇 응용에서 조명, 배경, 물체의 방향 변화에 대해 CNN + 클러스터링 파이프라인이 얼마나 강건한가?
• RQ3 . ImageNet에서 물체 그룹화가 강조되지 않는 시나리오에서의 시나리오 클러스터링 작업에서는 이 파이프라인이 성능이 떨어지는가?
• RQ4 . 내부 클래스 유사도와 외부 클래스 유사도가 제안된 방법의 클러스터링 성능에 얼마나 영향을 미치는가?
• RQ5 . 제안된 파이프라인이 향후 비지도 이미지 클러스터링 연구를 위한 강력하고 단순한 베이스라인으로 기능할 수 있는가?

주요 결과

• . 사전 훈련된 ImageNet CNN에서 특징를 추출하고 표준 클러스터링을 적용하는 단순한 파이프라인이, 여러 벤치마크에서 더 복잡한 최신 비지도 이미지 세트 클러스터링 알고리즘을 능가한다.
• . 새로 도입된 강건성 검증 데이터셋에서, 조건 4(어려운 조명 및 배경 조건) 하에서 평균 NMI 점수는 0.71, 순수도는 0.69를 기록하여 강력한 강건성을 입증하였다.
• . 물체 카테고리 내의 미세 분류에서는 펜의 경우 순수도가 1.0, 클램프의 경우 0.83를 기록하여 높은 내부 클래스 유사도를 가진 물체에서 강력한 성능를 보였다.
• . 표준 조건 하에서 로봇 정렬 응용에서 100% 성공률를 기록하였으며, 클램프와 드라이버와 같이 내부 클러스터 유사도가 낮은 물체들에 대해서도 성공하였다.
• . 결과적으로 CNN 특징의 비지도 작업으로의 전이 가능성은 매우 강력하여, 향후 연구는 더 큰, 더 다양한 데이터셋에 초점을 맞추는 것이 더 유익할 수 있음을 시사한다.
• . 연구는 주요 성능 저하 요인이 CNN 특징가 아니라, 펜과 USB와 같이 내부 클러스터 유사도가 낮고 외부 클래스 유사도가 높은 특정 물체 클래스에서 발생함을 밝혔다.