[논문 리뷰] Unsupervised learning on neural network outputs: with application in zero-shot learning

Yao Lu|arXiv (Cornell University)|2016. 07. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 28

한 줄 요약

이 논문은 ImageNet으로 훈련된 네트워크의 출력에 비지도 학습을 적용하여 시각적 의미적 구조를 탐색하는 방법을 제안한다. 주성분 분석(PCA)과 독립성 분석(ICA)을 사용해 ImageNet의 1000개 클래스로 사전 훈련된 네트워크의 로짓에 적용함으로써 공유되는 시각적 특징을 추출한다. 이 방법은 학습된 임bedding을 시각적 프로토타입으로 활용하여 20,000개 이상의 클래스를 가진 ImageNet에서 최신 기술 수준의 제로샷 학습을 달성한다.

ABSTRACT

The outputs of a trained neural network contain much richer information than just a one-hot classifier. For example, a neural network might give an image of a dog the probability of one in a million of being a cat but it is still much larger than the probability of being a car. To reveal the hidden structure in them, we apply two unsupervised learning algorithms, PCA and ICA, to the outputs of a deep Convolutional Neural Network trained on the ImageNet of 1000 classes. The PCA/ICA embedding of the object classes reveals their visual similarity and the PCA/ICA components can be interpreted as common visual features shared by similar object classes. For an application, we proposed a new zero-shot learning method, in which the visual features learned by PCA/ICA are employed. Our zero-shot learning method achieves the state-of-the-art results on the ImageNet of over 20000 classes.

연구 동기 및 목표

• 표준 분류 로짓을 초월하여 신경망 출력 내 숨겨진 의미적 구조를 밝혀내는 것.
• 신경망 출력에 대한 비지도 표현 학습이 의미 있는 시각적 특징 관계를 드러내는지 탐색하는 것.
• PCA/ICA에서 유도된 시각적 특징을 활용해 미사전 클래스에 대한 새로운 제로샷 학습 프레임워크를 개발하는 것.
• 대규모 제로샷 학습 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• ImageNet의 1000개 클래스로 사전 훈련된 깊은 CNN의 최종층 로짓에 PCA와 ICA를 적용한다.
• 결과로 얻은 주성분과 독립성 성분을 다양한 객체 클래스 간의 공통 시각적 특징으로 사용한다.
• PCA/ICA 성분을 의미적으로 유사한 클래스들 간에 공유되는 일반적인 시각적 특성으로 해석한다.
• 학습된 PCA/ICA 공간을 기반으로 미사전 클래스의 임베딩을 예측하는 제로샷 학습 모델을 구축한다.
• 임bed딩 공간 내의 의미적 구조를 활용하여 모델이 미사전 클래스로 일반화하도록 훈련한다.
• 20,000개 이상의 클래스를 포함하는 제로샷 ImageNet 벤치마크에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 출력에 대한 비지도 학습이 의미 있는 시각적 의미적 구조를 드러낼 수 있는가?
• RQ2 네트워크 로짓의 PCA 및 ICA 성분이 유사한 객체 클래스들 간에 공유되는 해석 가능한 시각적 특징으로 대응하는가?
• RQ3 학습된 PCA/ICA 임베딩이 미사전 클래스로의 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ4 기존 최신 기술 수준의 제로샷 학습 접근법과 비교해 이 방법은 어떻게 성능을 내는가?

주요 결과

• ImageNet 네트워크 출력에 적용한 PCA 및 ICA는 객체 클래스 간 의미적 유사성을 반영하는 공유되는 시각적 특징을 성공적으로 추출한다.
• PCA/ICA 성분은 무늬나 형태 패턴과 같은 일반적인 시각적 특성으로 해석되며, 의미적으로 관련된 클래스들 간에 공유된다.
• 제안된 제로샷 학습 방법은 20,000개 이상의 클래스를 포함하는 대규모 ImageNet 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 비지도 분석을 통한 네트워크 출력의 분리되고 구조화된 표현을 활용하여, 이 방법은 미사전 클래스로의 강력한 일반화 성능를 보여준다.