[논문 리뷰] Mixed-Variate Restricted Boltzmann Machines

Truyen Tran, Dinh Phung외 1명|arXiv (Cornell University)|2014. 08. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 32

한 줄 요약

이 논문은 이진 잠재층을 통해 종속성을 포착함으로써 이원형, 순서형, 다중범주형, 연속형, 순위형 선호도 등 이질적인 데이터 유형을 공동으로 모델링할 수 있는 통합 생성 모델인 혼합변량 제한볼츠만기계(MV.RBM)를 제안한다. 이 모델은 효율적인 추론을 가능하게 하며, 다중모달 데이터셋에서 차원 축소, 분류, 회귀, 데이터 보완 등의 후속 작업을 지원한다.

ABSTRACT

Modern datasets are becoming heterogeneous. To this end, we present in this paper Mixed-Variate Restricted Boltzmann Machines for simultaneously modelling variables of multiple types and modalities, including binary and continuous responses, categorical options, multicategorical choices, ordinal assessment and category-ranked preferences. Dependency among variables is modeled using latent binary variables, each of which can be interpreted as a particular hidden aspect of the data. The proposed model, similar to the standard RBMs, allows fast evaluation of the posterior for the latent variables. Hence, it is naturally suitable for many common tasks including, but not limited to, (a) as a pre-processing step to convert complex input data into a more convenient vectorial representation through the latent posteriors, thereby offering a dimensionality reduction capacity, (b) as a classifier supporting binary, multiclass, multilabel, and label-ranking outputs, or a regression tool for continuous outputs and (c) as a data completion tool for multimodal and heterogeneous data. We evaluate the proposed model on a large-scale dataset using the world opinion survey results on three tasks: feature extraction and visualization, data completion and prediction.

연구 동기 및 목표

• 실제 설문 조사와 같은 데이터셋에서 이원형, 순서형, 연속형, 순서형, 순위형 선호도 등 다양한 유형의 변수를 포함하는 이질적이고 다중모달 데이터를 모델링하는 데 도전하는 것.
• 표준 제한볼츠만기계(RBM) 프레임워크를 이원형, 순서형, 연속형, 다중범주형, 순서형, 순위형 등 다양한 유형의 가시단위를 지원하도록 확장하면서도 빠른 사후 추론과 해석 가능한 가능도 평가를 유지하는 것.
• 복잡한 이질적 데이터에서 특징 추출, 차원 축소, 분류, 회귀, 데이터 보완 등의 다양한 기계학습 작업을 지원하는 통합 표현 학습 프레임워크를 제공하는 것.
• 44개 국가와 38,000명 이상의 응답자가 포함된 대규모 실세계 설문 데이터셋에서 모델의 효과성을 입증하는 것.

제안 방법

• MV.RBM는 이원형, 순서형, 다중범주형, 연속형, 순서형, 순위형 등 다양한 유형의 가시변수를 포함하는 혼합변량 변수의 공동분포를 에너지 기반 모델로 모델링하며, 이중 잠재층을 사용한다.
• 각 가시변수 유형은 특정 함수를 통해 인코딩되며, 에너지 항목 $ G_i(v_i) $ 와 은닉단위 $ h_k $ 와의 상호작용 항목 $ H_{ik}(v_i) $ 를 통해 다양한 데이터 유형을 유연하게 모델링할 수 있다.
• 에너지 함수는 $ E(oldsymbol{v}, oldsymbol{h}) = -oldsymbol{v}^T oldsymbol{U} - oldsymbol{h}^T oldsymbol{w} - oldsymbol{v}^T oldsymbol{V} oldsymbol{h} $ 로 정의되며, 각 변수 모odal에 맞는 유형별 구성요소를 포함한다.
• 은닉단위에 대한 사후 추론은 시그모이드 함수를 이용한 폐쇄형 표현식을 통해 계산되며, 이는 빠르고 효율적인 근사 추론을 가능하게 한다.
• 결측 데이터 또는 예측을 위한 경우, 모델은 평균장 근사법을 사용하여 $ Q(v_i | \boldsymbol{v}_{\neg C}) $ 를 계산하며, 인라인된 분포를 사용해 진짜 사후분포를 근사한다.
• 최대우도추정을 통한 엔드 투 엔드 학습이 가능하며, 매개변수 최적화는 로그가능도 $ \frac{1}{N} \nabla \frac{\nabla \theta}{\nabla \theta} \nabla \theta $ 에 기반한 기울기 기반 방법을 사용한다.

실험 결과

연구 질문

• RQ1 단일 RBM 아키텍처가 이원형, 순서형, 연속형, 순서형, 다중범주형, 순위형 선호도 등 다양한 데이터 유형을 통합된 확률적 프레임워크 내에서 효과적으로 모델링할 수 있는가?
• RQ2 복잡한 아키텍처 수정 없이도 이질적 변수 간의 종속성을 이진 잠재층을 통해 효과적으로 포착할 수 있는가?
• RQ3 MV.RBM가 다양한 데이터 모달리티에서 차원 축소, 특징 추출, 데이터 보완 등의 일반 목적 도구로서 얼마나 효과적으로 기능할 수 있는가?
• RQ4 국제 설문 조사와 같은 실세계의 대규모 이질적 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 동일한 데이터에서 다중예측 작업(예: 분류, 회귀, 순위매기기) 간에 잠재 표현을 공유함으로써 MV.RBM이 다중작업 학습을 지원할 수 있는가?

주요 결과

• MV.RBM는 이원형, 순서형, 다중범주형, 연속형, 순서형, 순위형 총 여섯 가지 데이터 유형을 단일 통합 에너지 기반 프레임워크 내에서 성공적으로 모델링하였다.
• 모델은 시그모이드 계산을 통한 폐쇄형 표현식을 통해 은닉단위에 대한 빠른 사후 추론을 가능하게 하여 특징 추출 및 차원 축소와 같은 확장 가능한 응용에 적합하다.
• 44개 국가, 38,000명 이상의 응답자가 포함된 세계의 의견 설문 조사 데이터셋에서 MV.RBM는 혼합형 데이터 유형에 걸쳐 효과적인 데이터 보완 및 예측 성능을 보이며 뛰어난 성능을 입증하였다.
• MV.RBM의 잠재 사후분포는 복잡한 이질적 데이터에 대한 의미 있는 저차원 벡터 표현을 제공하여 효과적인 시각화 및 사전처리를 가능하게 하였다.
• 모델은 공유된 은닉 표현을 사용하여 다중클래스 분류, 다중라벨 예측, 회귀, 레이블 순위매기기 등 여러 학습 작업을 동시에 지원한다.
• 결측 데이터 보완을 위한 평균장 근사는 수치적으로 효율적이며, 관측 집합이 클 경우 특히 높은 정확도를 유지한다. 연속형 변수에 대해서는 기능 형태가 단순화되어 있다.