[논문 리뷰] Spike-and-Slab Sparse Coding for Unsupervised Feature Discovery

Ian Goodfellow, Aaron Courville외 1명|arXiv (Cornell University)|2012. 01. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 42

한 줄 요약

이 논문은 스파크 앤 슬래브 스퍼스 코딩(S3C)을 제안하며, 스퍼스 코딩과 스파크 앤 슬래브 RBM을 조합한 하이브리드 생성 모델로, 비지도 특징 탐지가 가능하다. 구조적 변분 추론을 사용하여 확장 가능한 GPU 기반 훈련을 구현하여 CIFAR-10에서 78.3%의 정확도를 달성했으며, 이는 스퍼스 코딩과 유사하고 ssRBM보다 뛰어나며, 효과적인 준지도 학습을 가능하게 하고, NIPS 전이 학습 도전 대회에서 우승하였다.

ABSTRACT

We consider the problem of using a factor model we call {\em spike-and-slab sparse coding} (S3C) to learn features for a classification task. The S3C model resembles both the spike-and-slab RBM and sparse coding. Since exact inference in this model is intractable, we derive a structured variational inference procedure and employ a variational EM training algorithm. Prior work on approximate inference for this model has not prioritized the ability to exploit parallel architectures and scale to enormous problem sizes. We present an inference procedure appropriate for use with GPUs which allows us to dramatically increase both the training set size and the amount of latent factors. We demonstrate that this approach improves upon the supervised learning capabilities of both sparse coding and the ssRBM on the CIFAR-10 dataset. We evaluate our approach's potential for semi-supervised learning on subsets of CIFAR-10. We demonstrate state-of-the art self-taught learning performance on the STL-10 dataset and use our method to win the NIPS 2011 Workshop on Challenges In Learning Hierarchical Models' Transfer Learning Challenge.

연구 동기 및 목표

• 스퍼스 코딩과 스파크 앤 슬래브 RBM의 장점을 결합한 확장 가능하고 미분 가능한 특징 탐지 방법을 개발하는 것.
• 스퍼스 코딩의 한계인 스퍼시티와 크기 정규화가 혼합되어 있는 문제를 해결하기 위해, 이들을 바이너리 스파크 변수와 연속형 슬래브 변수를 통해 분리하는 것.
• MAP 추론 대신 변분 추론을 사용하여 딥 볼츠만 기반의 딥 생성 모델에 통합할 수 있도록 하는 것.
• 기준 데이터셋에서 지도 학습, 준지도 학습, 자율 학습 설정에서의 효과성을 입증하는 것.
• 오직 비라벨 데이터만을 사용하여 특징 학습하고, 소량의 라벨 데이터로 미세 조정하는 방식으로 전이 학습 도전 대회에서 최고 성능을 달성하는 것.

제안 방법

• S3C는 이진 스파크 변수 $h_i$와 연속형 슬래브 변수 $s_i$를 사용하여 데이터를 모델링하며, $h_i$가 $s_i$의 활성화를 제어하여 공동 은닉 유닛을 형성한다.
• 모델은 스파크 앤 슬래브 사전확률을 사용한다: $p(h_i=1) = \sigma(b_i)$ 이고 $p(s_i|h_i) = \mathcal{N}(s_i | h_i\mu_i, \alpha_{ii}^{-1})$로, 스퍼시티와 활성화 크기 제어를 독립적으로 가능하게 한다.
• 시각적 데이터 $v_d$는 $p(v_d|s,h) = \mathcal{N}(v_d | W_{d:}(h \circ s), \beta_{dd}^{-1})$ 방식으로 생성되며, $W$는 과도한 파rameter화를 방지하기 위해 단위 노름을 갖는다.
• 구조적 변분 추론 절차는 진짜 사후분포 $p(h,s|v)$를 평균장 근사로 근사하여 효율적인 GPU 가속 훈련을 가능하게 한다.
• 변분 EM 알고리즘은 변분 매개변수 $\hat{h}, \hat{s}$ 업데이트와 모델 매개변수 $W, \mu, \alpha, \beta, b$ 최적화를 번갈아 수행한다.
• 추론 단계는 기대 로그사후분포에 기반한 폐쇄형 업데이트를 사용하며, 수렴을 향상시키기 위해 덤프링을 적용한다.

실험 결과

연구 질문

• RQ1 스파크 앤 슬래브 사전확률과 스퍼스 코딩을 조합한 하이브리드 모델이 기존의 스퍼스 코딩이나 ssRBM에 비해 비지도 특징 탐지 성능을 향상시키는가?
• RQ2 스파크 변수 $b_i$로 스퍼시티 제어를, 슬래브 변수 $\mu_i, \alpha_i$로 활성화 크기 제어를 분리함으로써 일반화 성능 향상과 더불어 더 해석 가능한 특징를 도출할 수 있는가?
• RQ3 구조적 변분 추론이 GPU 가속을 통해 대규모 데이터셋인 CIFAR-10에서 S3C의 확장 가능한 훈련을 가능하게 하는가?
• RQ4 소량의 라벨 데이터만 존재할 경우 준지도 학습에서 S3C는 어떻게 성능을 내는가?
• RQ5 실제 전이 학습 도전 대회에서 S3C 특징는 새로운 작업으로 효과적으로 전이 가능한가?

주요 결과

• S3C는 3×3 풀링 격자 구조를 사용하여 CIFAR-10에서 테스트 정확도 78.3%를 달성했으며, 자연 인코딩을 사용한 스퍼스 코딩과 동일한 성능를 보였고, ssRBM보다 뛰어났다.
• 2×2 풀링 격자 구조를 사용했을 경우 S3C는 76.2%의 정확도를 기록하여, 더 적은 수의 특징으로도 강건한 성능를 유지함을 보였다.
• S3C는 ssRBM을 능가했으며, ssRBM는 4,096개의 기저 벡터와 3×3 격자를 사용했음에도 불구하고 오직 76.7%의 정확도에 머물렀다.
• 준지도 학습에서 S3C는 중간 크기의 라벨 데이터셋에서 일반화 성능 향상을 보였으며, 이는 민감한 정규화 조정이 가능함을 시사한다.
• S3C는 오직 비라벨 데이터만을 사용하여 특징 학습하고 소량의 라벨 데이터로 미세 조정한 방식으로 NIPS 2011 전이 학습 도전 대회에서 48.6%의 테스트 정확도로 우승하였다.
• 구조적 변분 추론 방법은 대규모 데이터셋과 고차원의 은닉 공간에서의 확장 가능한 훈련을 가능하게 하여, S3C가 딥 생성 모델에 적합함을 입증했다.