[논문 리뷰] Nonparametric Variational Auto-encoders for Hierarchical Representation Learning

Prasoon Goyal, Zhiting Hu외 3명|arXiv (Cornell University)|2017. 03. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 39

한 줄 요약

이 논문은 트리 구조를 가진 베이지안 비모수 사전분포, 특히 내장된 차이나 레스토랑 과정(nCRP)을 딥 네ural 네트워크와 결합한 계층적 비모수 변분 오토인코더(VAEnCRP)를 제안한다. 이는 잠재공간에서 탄력적이고 해석 가능한 계층적 표현을 학습한다. 특별히 변분 추론를 통해 VAE의 파라미터와 nCRP 트리 구조를 동시에 최적화함으로써, 데이터 기반의 풍부한 계층적 의미 개념을 발견하며, 비디오 분류 및 검색에서 최신 기술 수준의 성능을 달성하여 군집 정확도와 일반화 능력이 향상된다.

ABSTRACT

The recently developed variational autoencoders (VAEs) have proved to be an effective confluence of the rich representational power of neural networks with Bayesian methods. However, most work on VAEs use a rather simple prior over the latent variables such as standard normal distribution, thereby restricting its applications to relatively simple phenomena. In this work, we propose hierarchical nonparametric variational autoencoders, which combines tree-structured Bayesian nonparametric priors with VAEs, to enable infinite flexibility of the latent representation space. Both the neural parameters and Bayesian priors are learned jointly using tailored variational inference. The resulting model induces a hierarchical structure of latent semantic concepts underlying the data corpus, and infers accurate representations of data instances. We apply our model in video representation learning. Our method is able to discover highly interpretable activity hierarchies, and obtain improved clustering accuracy and generalization capacity based on the learned rich representations.

연구 동기 및 목표

• 기본 VAE에서 고정된 모수적 사전분포의 한계를 해결하기 위해, 표현 능력이 제한되고 복잡한 계층적 데이터 구조를 포착하지 못하는 문제를 해결한다.
• 사전에 클러스터나 레벨의 수를 정의하지 않고도, 잠재공간에서 의미적 개념의 깊고 가지치기된 계층을 자동으로 데이터 기반으로 발견할 수 있도록 한다.
• 딥 네ural 네트워크와 베이지안 비모수 사전분포를 통합하여, 모델 파라미터와 구조적 사전분포를 함께 끝에서 끝까지 학습할 수 있도록 한다.
• 계층적 구조를 통해 더 풍부하고 일반화 능력이 뛰어난 표현을 학습함으로써, 비디오 분류 및 검색과 같은 후행 작업의 성능을 향상시킨다.
• 비디오 데이터를 의미 있는 의미 계층으로 조직할 수 있는 해석 가능하고 비지도 학습 프레임워크를 제공한다.

제안 방법

• 잠재공간에 대해 무한히 깊고 가지치기된 계층적 구조를 가능하게 하기 위해, 내장된 차이나 레스토랑 과정(nCRP)을 비모수적 사전분포로 사용한다.
• nCRP 사전분포를 딥 네ural 네트워크 기반 VAE와 통합하여, 인코더/디코더 가중치와 트리 구조를 변분 추론를 통해 동시에 최적화할 수 있도록 한다.
• 학습 중에 무한한 트리 공간을 탐색하기 위해 맞춤형 분할-병합 MCMC 프로세스를 사용하여 계층의 동적 성장을 가능하게 한다.
• 각 데이터 인스턴스에 대해 트리 상의 경로 분포를 할당함으로써, 인스턴스별 사전분포를 유도하고 잠재 코드 학습을 정규화한다.
• 비디오 데이터에 모델을 적용하기 위해, 각 비디오를 경로의 혼합으로 모델링하고, 프레임을 잠재공간에 임bedding하며 의미 유사도에 따라 경로에 할당한다.
• 신경망 파라미터와 nCRP 파라미터를 동시에 추정할 수 있는 변분 추론 업데이트를 유도함으로써, 자기 조절 가능한 모델 용량을 가능하게 한다.

실험 결과

연구 질문

• RQ1 nCRP와 같이 비모수적 사전분포가 깊은 VAE와 효과적으로 통합되어, 잠재 성분의 수를 고정하지 않고도 계층적 표현을 학습할 수 있는가?
• RQ2 신경망 파라미터와 베이지안 비모수 사전분포를 함께 학습하는 것이 고정된 모수적 사전분포보다 더 높은 표현 품질과 일반화 능력을 제공하는가?
• RQ3 결과적으로 얻어진 모델이 비디오와 같은 복잡한 순차적 데이터에서 이해 가능하고 다단계의 의미 계층을 발견할 수 있는가?
• RQ4 VAE에 모수적 사전분포를 사용한 기준 모델과 비교해 볼 때, 이 모델은 비디오 분류 및 검색과 같은 후행 작업에서 어떻게 성능을 내는가?
• RQ5 비모수적 성격 덕분에 모델이 새로운 데이터에 일반화하고 새로운 클러스터를 형성할 수 있는 정도는 어느 정도인가?

주요 결과

• VAE-nCRP는 TRECVID MED 2011 데이터셋에서 가장 높은 전체 분류 정확도(42.4%)를 기록했으며, K-means(32.4%)와 VAE-GMM(38.5%)를 모두 앞서나갔다.
• 비디오 검색 작업에서 VAE-nCRP는 모든 클래스 평균 F-1 스코어(42.4%)를 기록했으며, Fishing(59.9%)와 Getting_a_vehicle_unstuck(56.9%)와 같은 핵심 카테고리에서 기준 모델을 크게 앞서나갔다.
• 모델은 매우 해석 가능한 계층적 구조를 발견하였으며, 예를 들어 차량 관련 활동을 더 넓은 범주로 묶고, 자전거 수리 및 자동차 휠 수리와 같은 하위 유형으로 세분화하였다.
• 정성적 분석을 통해 학습된 계층이 의미 있는 의미 추상화를 포착하고 있음을 확인하였으며, 상위 레벨 노드는 추상적 개념을 나타내고 하위 레벨 노드는 구체적인 활동을 포착한다.
• 테스트 세트 재구성에서 더 나은 일반화 능력을 보이며, 계층적 구조가 데이터 변형에 대한 강건성과 불변성을 향상시킨다는 것을 시사한다.
• 통합 최적화 프레임워크는 신경망 파rameter와 트리 구조 사전분포를 성공적으로 학습하였으며, 수동 조정 없이 데이터 복잡도에 맞게 모델 용량을 자동으로 조절할 수 있도록 하였다.