[논문 리뷰] Indian Buffet Process Deep Generative Models

Sotirios Chatzis|arXiv (Cornell University)|2014. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 깊이 있는 생성 모델에 인도 버거 풀(Indian Buffet Process, IBP) 사전확률을 통합하여 데이터 기반으로 은닉 특징 차원을 추론할 수 있도록 하는 딥러닝 생성 모델을 제안한다. IBP 사전확률과 블랙박스 변분 추론을 조합함으로써, 관련 은닉 특징의 수를 자동으로 결정할 수 있으며, 준감독 분류 벤치마크에서 최신 기술 대비 뛰어난 성능을 보였다.

ABSTRACT

Deep generative models (DGMs) have brought about a major breakthrough, as well as renewed interest, in generative latent variable models. However, an issue current DGM formulations do not address concerns the data-driven inference of the number of latent features needed to represent the observed data. Traditional linear formulations allow for addressing this issue by resorting to tools from the field of nonparametric statistics: Indeed, nonparametric linear latent variable models, obtained by appropriate imposition of Indian Buffet Process (IBP) priors, have been extensively studied by the machine learning community; inference for such models can been performed either via exact sampling or via approximate variational techniques. Based on this inspiration, in this paper we examine whether similar ideas from the field of Bayesian nonparametrics can be utilized in the context of modern DGMs in order to address the latent variable dimensionality inference problem. To this end, we propose a novel DGM formulation, based on the imposition of an IBP prior. We devise an efficient Black-Box Variational inference algorithm for our model, and exhibit its efficacy in a number of semi-supervised classification experiments. In all cases, we use popular benchmark datasets, and compare to state-of-the-art DGMs.

연구 동기 및 목표

• 깊이 있는 생성 모델(DGMs)이 은닉 특징 수를 고정된 사전 지정된 수로 요구하는 한계를 해결하기 위해.
• 특히 인도 버거 풀(IBP)을 포함한 비모수 베이지안 방법을 현대적인 깊이 있는 생성 모델에 확장하여, 탄력적이고 데이터 기반의 은닉 차원 추론을 가능하게 하기 위해.
• 복잡한 딥 아키텍처에 스케일링 가능한 비용 효율적인 추론 알고리즘을 개발하여 IBP의 비모수 성질을 유지하기 위해.
• 제안된 모델을 준감독 분류 태스크의 벤치마크에서 평가하고 최신 기술 대비 성능을 비교하기 위해.

제안 방법

• 딥러닝 생성 모델의 은닉 특징에 대해 인도 버거 풀(IBP) 사전확률을 도입하여 무한대이고 데이터 적응적인 특징 수를 허용한다.
• 딥 네트워크를 사용해 생성 과정을 매개변수화하여, 은닉 특징을 학습된 비선형 변환을 통해 관측 데이터로 매핑한다.
• 은닉 변수와 모델 파라미터의 후행확률이 계산이 불가능한 데서 기인한 문제를 해결하기 위해 블랙박스 변분 추론(BBVI)을 적용한다.
• IBP에 의해 유도된 이산적 특징의 특성에도 불구하고, 기울기 기반 최적화를 가능하게 하기 위해 재설정 기법을 활용한다.
• 변분 추론 프레임워크 내에서 효율적인 기울기 추정을 가능하게 하기 위해 IBP 사전확률의 미분 가능 근사값을 유도한다.
• 대규모 벤치마크 데이터셋에 대응하기 위해 추론 절차를 스케일링하기 위해 확률적 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 인도 버거 풀(IBP)이 깊이 있는 생성 모델에 효과적으로 통합되어 은닉 특징 수의 자동 추론을 가능하게 할 수 있는가?
• RQ2 제안된 IBP 기반 DGM은 준감독 학습 태스크에서 고정된 차원의 DGM과 비교해 어떻게 성능을 내는가?
• RQ3 블랙박스 변분 추론의 사용이 IBP 사전확률을 가진 DGM의 스케일링 가능하고 효과적인 학습을 가능하게 하는가?
• RQ4 IBP를 통한 데이터 기반 특징 선택이 모델 일반화 및 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 데이터로부터 관련 은닉 특징 수를 직접 추론하여 수동으로 지정할 필요 없이 성능을 달성한다.
• 최신 기술 대비 경쟁력 있거나 뛰어난 성능을 준감독 분류 벤치마크에서 달성한다.
• 블랙박스 변분 추론은 복잡한 사전확률에도 불구하고 IBP 사전확률을 가진 딥러닝 생성 모델의 효과적이고 스케일링 가능한 학습을 가능하게 한다.
• IBP와 깊이 있는 아키텍처의 통합은 특히 데이터가 적은 상황에서 일반화 성능 향상에 기여한다.