[논문 리뷰] Deep Image Category Discovery using a Transferred Similarity Function

Yen-Chang Hsu, Zhaoyang Lv외 1명|arXiv (Cornell University)|2016. 12. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 12

한 줄 요약

이 논문은 사전 훈련된 유사도 함수를 소스 도메인(예: Omniglot)에서 가져와 약한 이진 쌍별 제약 조건을 통해 레이블이 없는 자연 이미지에서 객체 카테고리를 탐지하는 엔드 투 엔드 딥 클러스터링 프레임워크를 제안한다. 농밀하고 노이즈가 많은 유사도 예측을 감독으로 활용함으로써, 이 방법은 MNIST, CIFAR-10, STL-10, ImageNet에서 최고 성능을 달성하며 도메인 이탈에 대한 강건성과 대규모 데이터셋에 대한 확장성을 입증한다.

ABSTRACT

Automatically discovering image categories in unlabeled natural images is one of the important goals of unsupervised learning. However, the task is challenging and even human beings define visual categories based on a large amount of prior knowledge. In this paper, we similarly utilize prior knowledge to facilitate the discovery of image categories. We present a novel end-to-end network to map unlabeled images to categories as a clustering network. We propose that this network can be learned with contrastive loss which is only based on weak binary pair-wise constraints. Such binary constraints can be learned from datasets in other domains as transferred similarity functions, which mimic a simple knowledge transfer. We first evaluate our experiments on the MNIST dataset as a proof of concept, based on predicted similarities trained on Omniglot, showing a 99\% accuracy which significantly outperforms clustering based approaches. Then we evaluate the discovery performance on Cifar-10, STL-10, and ImageNet, which achieves both state-of-the-art accuracy and shows it can be scalable to various large natural images.

연구 동기 및 목표

• 레이블이 없는 데이터 없이 자연 이미지에서 비지도 학습을 통한 이미지 카테고리 발견 문제를 해결하기 위해.
• 왜곡된 메트릭 학습 및 클러스터링 파이프라인에 대한 의존도를 줄이기 위해, 약한 전이 지식으로부터 엔드 투 엔드 학습을 가능하게 하기 위해.
• 소스 도메인에서 유래한 농밀한 쌍별 유사도 제약 조건을 활용하여, 복잡한 실제 세계 데이터셋에서의 클러스터링 성능을 향상시키기 위해.
• 노이즈가 많은 유사도 예측에도 불구하고 ImageNet과 같은 대규모 데이터셋에 대한 확장성과 강건성을 입증하기 위해.

제안 방법

• 이중 네트워크 아키텍처가 소스 데이터셋(예: Omniglot)에서 이미지 쌍 간의 이진 유사도 레이블을 예측하도록 훈련된다.
• 훈련된 유사도 예측 네트워크(SPNe)는 고정되고 타겟 도메인에서 전이된 유사도 함수로 사용된다.
• 고정된 SPNe의 예측을 약한 감독으로 사용하여, 레이블이 없는 타겟 이미지에서 엔드 투 엔드로 클러스터링 네트워크(ClusterNet)를 훈련한다.
• 전이된 유사도 제약 조건에 기반하여 클러스터링 구조를 강화하기 위해 대비 손실(contrastive loss)이 적용된다.
• 이 프레임워크는 비지도 방식으로 깊이 있는 특징 표현과 클러스터 할당을 함께 학습한다.
• t-SNE 시각화를 사용하여 학습된 클러스터 임베딩의 품질을 평가하고 해석한다.

실험 결과

연구 질문

• RQ1 소스 도메인에서 전이된 유사도 함수가 타겟 도메인에서 레이블이 없는 이미지에서 효과적인 비지도 학습을 통한 이미지 카테고리 발견을 가능하게 할 수 있는가?
• RQ2 소스와 타겟 간 도메인 이탈로 인해 발생하는 노이즈가 많은 유사도 예측에 대해 이 방법은 얼마나 강건한가?
• RQ3 제안된 엔드 투 엔드 클러스터링 프레임워크는 기존의 이중 단계 메트릭 학습 및 클러스터링 파이프라인을 초월할 수 있는가?
• RQ4 이 방법은 ImageNet과 같은 대규모 자연 이미지 데이터셋에 효과적으로 확장될 수 있는가?
• RQ5 SPNe가 해당 클래스를 훈련하지 않은 상태에서도 프레임워크가 세분화된 카테고리(예: 검은 흰꼬리매 vs. 파란새)를 탐지할 수 있는가?

주요 결과

• MNIST에서 이 방법은 Omniglot에서 훈련된 유사도 예측을 사용해 99%의 정확도를 달성했으며, 클러스터링 기반 기준 모델들을 크게 능가했다.
• CIFAR-10에서 이 방법은 테스트 세트에서 NMI 0.750과 ACC 0.750을 달성했으며, 비교된 모든 클러스터링 방법보다 뛰어난 성능을 보였다.
• ImageNet-10R에서 이 방법은 테스트 세트에서 NMI 0.707과 ACC 0.750을 기록했으며, 세분화된 자연 이미지 카테고리에서 강력한 성능을 입증했다.
• t-SNE 시각화에서 이 방법은 검은 흰꼬리매와 파란새와 같은 유사한 카테고리를 성공적으로 분리했으며, 효과적인 클러스터 탐지 능력을 보였다.
• 도메인 이탈로 인한 노이즈가 많은 유사도 예측에도 불구하고, 농밀한 쌍별 제약 조건을 활용함으로써 강건한 성능을 보이며 정확한 클러스터링을 가능하게 했다.
• MNIST, CIFAR-10, STL-10, ImageNet 등 여러 벤치마크에서 최고 성능을 달성하여, 이 방법의 확장성과 일반화 능력을 입증했다.