[논문 리뷰] Unsupervised Learning on Neural Network Outputs

Yao Lu|arXiv (Cornell University)|2015. 06. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 12

한 줄 요약

이 논문은 ImageNet에서 훈련된 깊은 CNN의 출력에 대해 주성분 분석(PCA)과 독립 성분 분석(ICA)을 적용하여 객체 클래스 간의 숨겨진 시각적 유사성을 밝혀내는 것을 제안한다. 네트워크의 확률적 출력에서 공유되는 시각적 특징을 학습함으로써, 이 방법은 20,000개 이상의 클래스를 포함하는 확장된 ImageNet에서 최신 기준을 충족하는 제로샷 학습 성능을 달성하며, 신경망 예측에 내재된 구조적 의미 관계를 활용함으로써 이전 방법들을 능가한다.

ABSTRACT

The outputs of a trained neural network contain much richer information than just an one-hot classifier. For example, a neural network might give an image of a dog the probability of one in a million of being a cat but it is still much larger than the probability of being a car. To reveal the hidden structure in them, we apply two unsupervised learning algorithms, PCA and ICA, to the outputs of a deep Convolutional Neural Network trained on the ImageNet of 1000 classes. The PCA/ICA embedding of the object classes reveals their visual similarity and the PCA/ICA components can be interpreted as common visual features shared by similar object classes. For an application, we proposed a new zero-shot learning method, in which the visual features learned by PCA/ICA are employed. Our zero-shot learning method achieves the state-of-the-art results on the ImageNet of over 20000 classes.

연구 동기 및 목표

• 감독 훈련에서 명시적으로 레이블링되지 않은 객체 클래스 간의 숨겨진 의미적 및 시각적 관계를 밝혀내기 위해.
• 훈련된 깊은 CNN의 확률적 출력이 분류 이외의 시각적 유사성에 관한 구조적 정보를 포함하고 있는지 탐색하기 위해.
• 네트워크 출력에 대한 비지도 표현 학습을 활용하여 일반화된 인식을 위한 제로샷 학습 방법을 개발하기 위해.
• 신경망 예측 내의 의미 관계를 모델링하여 대규모 오픈 어휘 이미지 분류에서 제로샷 학습 성능을 향상시키기 위해.

제안 방법

• 훈련된 ImageNet CNN의 출력 확률에 주성분 분석(PCA)을 적용하여 객체 클래스 간의 시각적 유사성을 반영하는 저차원 임베딩을 추출하기 위해.
• 동일한 출력에 대해 독립 성분 분석(ICA)을 적용하여 의미적으로 유사한 클래스들 사이에서 공유되는 통계적으로 독립적인 시각적 특징을 식별하기 위해.
• 주성분 및 독립 성분을 의미적으로 유사한 객체 카테고리 그룹에 공통적으로 존재하는 공유 시각적 특징(예: 질감, 형태 등)으로 해석하기 위해.
• PCA/ICA 임베딩이 미리보지 않은 카테고리의 클래스 표현을 예측하는 데 사용되는 제로샷 학습 프레임워크를 구축하기 위해.
• 훈련 중에 볼 수 없었던 객체 클래스로 일반화하기 위해 PCA/ICA를 통해 유도된 시각적 특징을 사용하여 제로샷 분류기 학습하기 위해.

실험 결과

연구 질문

• RQ1 ImageNet에서 훈련된 깊은 CNN의 출력 확률이 객체 클래스 간의 의미 있는 시각적 유사성을 드러낼 수 있는가?
• RQ2 CNN 출력의 주성분 및 독립 성분이 의미적으로 유사한 클래스들 사이에서 공유되는 해석 가능한 시각적 특징에 해당하는가?
• RQ3 CNN 출력에 대한 비지도 표현 학습이 볼 수 없는 클래스로의 제로샷 일반화 성능를 향상시킬 수 있는가?
• RQ4 제안된 방법은 대규모 오픈 어휘 벤치마크에서 기존의 제로샷 학습 접근법과 비교해 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• CNN 출력의 PCA 및 ICA 성분은 의미적으로 유사한 객체 클래스들 사이에서 공유되는 해석 가능한 시각적 특징(예: 질감, 형태, 또는 부분 등)을 나타낸다.
• PCA/ICA에 의해 드러난 시각적 유사성 구조는 인간이 애너테이션한 객체 카테고리 간의 의미 관계와 잘 일치한다.
• 제안된 제로샷 학습 방법은 20,000개 이상의 클래스를 포함하는 확장된 ImageNet에서 최신 기준의 성능를 달성한다.
• 이 방법은 신경망 출력에서 유도된 구조적 의미 정보를 활용함으로써 이전의 제로샷 학습 접근법보다 뚜렷이 뛰어난 성능를 보인다.