[논문 리뷰] Unsupervised High-level Feature Learning by Ensemble Projection for Semi-supervised Image Classification and Image Clustering

Dengxin Dai, Luc J. Van Gool|arXiv (Cornell University)|2016. 02. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 64인용 수 24

한 줄 요약

이 논문은 준감독 이미지 분류 및 이미지 클러스터링을 위한 새로운 비지도 고수준 특징 학습 방법인 앙상블 프로젝션(EP)을 제안한다. EP는 가용한 모든 데이터(라벨이 있는 데이터와 없는 데이터)로부터 유도된 다양한 시각적 프로토타입의 앙상블에 이미지를 투영하여 분류기 기반 유사도를 사용해 개별 이미지 특징과 상호 이미지 관계를 모두 포착함으로써 구분 가능한 이미지 표현을 학습한다. 이 방법은 여덟 개인 표준 데이터셋에서 기준 특징보다 뚜렷이 뛰어난 성능을 보이며 준감독 분류에서 최고 성능을 기록하고 이미지 클러스터링의 순도를 크게 향상시켰다.

ABSTRACT

This paper investigates the problem of image classification with limited or no annotations, but abundant unlabeled data. The setting exists in many tasks such as semi-supervised image classification, image clustering, and image retrieval. Unlike previous methods, which develop or learn sophisticated regularizers for classifiers, our method learns a new image representation by exploiting the distribution patterns of all available data for the task at hand. Particularly, a rich set of visual prototypes are sampled from all available data, and are taken as surrogate classes to train discriminative classifiers; images are projected via the classifiers; the projected values, similarities to the prototypes, are stacked to build the new feature vector. The training set is noisy. Hence, in the spirit of ensemble learning we create a set of such training sets which are all diverse, leading to diverse classifiers. The method is dubbed Ensemble Projection (EP). EP captures not only the characteristics of individual images, but also the relationships among images. It is conceptually simple and computationally efficient, yet effective and flexible. Experiments on eight standard datasets show that: (1) EP outperforms previous methods for semi-supervised image classification; (2) EP produces promising results for self-taught image classification, where unlabeled samples are a random collection of images rather than being from the same distribution as the labeled ones; and (3) EP improves over the original features for image clustering. The code of the method is available on the project page.

연구 동기 및 목표

• 라벨이 부족하거나 전혀 없는 상황에서 이미지 분류 및 클러스터링 문제를 해결하기 위해 풍부한 비라벨 데이터를 활용하고자 한다.
• 복잡한 정규화 기법에 의존하지 않고도 개별 이미지의 특성과 상호 이미지 간 관계를 모두 포착할 수 있는 특징 학습 방법을 개발하고자 한다.
• 기존 표준 특징에 비해 준감독 분류와 비지도 클러스터링 양쪽에서 성능을 향상시킬 수 있는 단순하고 효율적이며 유연한 프레임워크를 구축하고자 한다.
• 다양한 이미지 데이터셋과 다양한 감독 수준 설정 하에서 방법의 효과성을 검증하고자 한다.

제안 방법

• EP는 가용한 모든 이미지(라벨이 있는 이미지와 없는 이미지 포함)에서 T개의 다양한 시각적 프로토타입 집합을 샘플링하여, 이를 가상의 클래스로 간주한다.
• 각 프로토타입 집합에 대해, 이미지가 프로토타입과 유사도 기반으로 어떻게 투영될지를 학습하는 분류기를 훈련시킨다.
• 이미지들은 이러한 분류기를 통해 투영되며, 결과적으로 유사도 점수(유사도)가 새로운 더 풍부한 특징 벡터로 통합된다.
• 훈련 세트의 다양성은 데이터 증강 및 샘플링 전략을 통해 보장되며, 이는 강건성과 일반화 능력을 향상시킨다.
• 이 방법은 최종 분류기나 클러스터링 알고리즘에 관계없이 적용 가능하므로, SVM, k-means, 스펙트럴 클러스터링 등의 표준 도구와 통합이 가능하다.
• 최종 특징 표현은 분류기 기반의 분포 인식 방식으로 학습되며, 데이터의 기본적인 구조를 효과적으로 활용한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터만을 사용하여도 단순한 비지도 특징 학습 방법이 기존 표준 특징을 능가할 수 있는가?
• RQ2 비라벨 데이터가 라벨이 있는 데이터와 동일한 분포에서 유래하지 않은 경우(자기학습), 제안된 방법의 성능는 어떠한가?
• RQ3 학습된 특징이 원래 특징에 비해 이미지 클러스터링 성능 향상에 얼마나 기여하는가?
• RQ4 프로토타입 기반 투영을 통해 상호 이미지 간 관계를 포착함으로써, 기존 특징 추출 방식보다 더 나은 표현 학습이 이루어지는가?

주요 결과

• EP는 준감독 이미지 분류에서 여덟 개인 표준 데이터셋 전반에서 최고 성능을 기록하며 이전 방법들을 능가했다.
• Caltech-101 데이터셋에서, EP는 라벨이 1개 클래스당 10개인 조건에서 기준 CNN의 분류 정확도 70.7%를 71.5%로 향상시켰다.
• 자기학습 설정에서 비라벨 데이터가 다른 분포에서 유래한 경우에도 EP는 강력한 성능을 기록하며 강건성을 입증했다.
• 이미지 클러스터링에서, k-means를 사용할 경우 EP는 Event-8에서 순도를 9.6% 향상시키고 STL-10에서는 6.5% 향상시켰으며, 스펙트럴 클러스터링을 사용할 경우 Scene-15에서는 4.0%, Indoor-67에서는 5.7% 향상시켰다.
• 모든 클러스터링 평가에서 원래 CNN 특징에 비해 EP가 뚜렷이 뛰어난 성능를 보이며, 의미 있는 상호 이미지 간 관계를 효과적으로 포착할 수 있음을 확인했다.
• 이 방법은 계산적으로 효율적이며, 어떤 후속 분류기나 클러스터링 알고리즘과도 호환되어 활용도가 높다.