[논문 리뷰] Towards a Neural Statistician

Harrison Edwards, Amos Storkey|arXiv (Cornell University)|2016. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 154

한 줄 요약

이 논문은 데이터셋 수준 통계를 학습하기 위해 통계 네트워크를 통해 변분 자동인코더를 확장하여, 데이터셋 내에서 공유되는 잠재 맥락 c를 모델링함으로써 데이터가 부족한 상황에서도 비지도학습, 데이터 효율적 학습, 그리고 다양한 데이터셋 간의 few-shot 학습을 가능하게 한다.

ABSTRACT

An efficient learner is one who reuses what they already know to tackle a new problem. For a machine learner, this means understanding the similarities amongst datasets. In order to do this, one must take seriously the idea of working with datasets, rather than datapoints, as the key objects to model. Towards this goal, we demonstrate an extension of a variational autoencoder that can learn a method for computing representations, or statistics, of datasets in an unsupervised fashion. The network is trained to produce statistics that encapsulate a generative model for each dataset. Hence the network enables efficient learning from new datasets for both unsupervised and supervised tasks. We show that we are able to learn statistics that can be used for: clustering datasets, transferring generative models to new datasets, selecting representative samples of datasets and classifying previously unseen classes. We refer to our model as a neural statistician, and by this we mean a neural network that can learn to compute summary statistics of datasets without supervision.

연구 동기 및 목표

• 데이터셋(데이터 포인트가 아니라)을 일급 객체로 표현하는 것을 동기로 삼아 전이와 학습 효율성을 향상한다.
• 데이터셋별 생성을 정의하는 데이터셋 수준 통계를 계산하는 비지도 학습 신경망 방법을 개발한다.
• 학습된 통계를 통해 클러스터링, 데이터셋 수준의 전이, 대표 샘플링, 그리고 소수 샷 클래스 처리를 가능하게 한다.
• 데이터셋 수와 모델 크기를 분리하는 확장 가능하고 매개변수 효율적인 접근법을 제공한다.

제안 방법

• 데이터셋 내 항목들 간에 공유되는 컨텍스트 변수 c를 갖도록 변분 자동인코더를 확장한다.
• 교환가능 풀링 계층(예: 평균)을 사용하여 예제의 무정렬 집합 D를 모아 c를 생성하는 통계 네트워크 q(c|D;φ)을 도입한다.
• 잠재 변수 z와 스킵 연결이 있는 계층적 잠재 구조를 사용하여 유연한 생성 모델 p(x|z,c;θ)를 형성한다.
• RD + CD + LD로 구성된 세 부분으로 된 변분 bound LD를 정의한다. RD는 재구성, CD는 컨텍스트 발산, LD는 잠재 발산이다.
• 데이터셋 배치(데이터 포인트가 아닌)에서 학습하여 데이터셋들에 대한 기대 LD를 최대화한다.
• q(z|x,c;φ)와 q(c|D;φ)에 대해 전달 가능한 추론 네트워크를 활용하고, 그래디언트 추정을 위해 재매개화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 신경 모델이 각 데이터셋의 생성 과정을 요약하는 의미 있는 데이터셋 수준 통계를 학습할 수 있는가?
• RQ2 학습된 통가가 분포 계열별로 데이터셋을 클러스터링하고, 데이터셋 간 전이 및 미지 클래스에 대한 few-shot 분류나 샘플링을 가능하게 하는가?
• RQ3 통계 네트워크가 데이터셋에 조건화를 적용하여 데이터셋 특유의 생성 모델을 생성하고 샘플링할 수 있는가?
• RQ4 데이터셋을 단위로 모델링하는 것이 샘플 효율성을 어떻게 개선하고 데이터셋 표현의 비지도 학습을 가능하게 하는가?
• RQ5 계층적 잠재 구조와 skip 연결이 복잡한 데이터셋 구조를 모델링하는 데 어떤 영향을 미치는가?

주요 결과

• 모델은 평균과 분산의 직교 매핑이 클러스터 내에서 이루어지며, 1차원 합성 데이터셋을 분포 계통에 따라 군집화하는 통계를 학습한다.
• 공간 MNIST에서 모델은 데이터셋에 조건화된 샘플을 생성하고 요약으로서 의미 있는 부분집합 선택을 수행할 수 있다.
• OMNIGLOT 및 few-shot 작업에서 이 접근법은 5-way 작업에서 경쟁력 있는 정확도와 1-shot/5-shot 설정에서 강한 성능을 보이며 미지의 문자와 숫자에 대한 전이를 보인다.
• few-shot 분류 실험에서 신경 통계학자는 강력한 기준선으로 나타나며 특히 5-way 작업에서 강력하지만 더 큰(20-way) 작업에서는 일부 특화된 매칭 네트워크에 뒤처질 때도 있다.
• 이 방법은 YouTube Faces에 대해 few-shot 학습과 데이터셋 조건부 생성을 시연하며 생성 샘플에서 일관된 신원과 다양한 자세를 생성한다.