[논문 리뷰] Nonlinear Statistical Learning with Truncated Gaussian Graphical Models

Qinliang Su, Xuejun Liao외 2명|arXiv (Cornell University)|2016. 06. 02.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 9

한 줄 요약

이 논문은 가우시안 그래픽 모델(GGM)의 잠재 변수를 잘라내어 비선형 통계적 의존성을 유도하는 새로운 프레임워크인 절단 가우시안 그래픽 모델(TGGM)을 제안한다. 이 잘라낸 잠재 변수들을 통합함으로써 관측 변수 위의 최종 주변 분포는 비가우시안이고 비선형 관계를 가지게 되며, 기대값-최대화(EM) 알고리즘을 통한 효율적 추론이 가능해지고, 벤치마크 회귀 및 분류 작업에서 ReLU 기반 신경망을 능가한다.

ABSTRACT

We introduce the truncated Gaussian graphical model (TGGM) as a novel framework for designing statistical models for nonlinear learning. A TGGM is a Gaussian graphical model (GGM) with a subset of variables truncated to be nonnegative. The truncated variables are assumed latent and integrated out to induce a marginal model. We show that the variables in the marginal model are non-Gaussian distributed and their expected relations are nonlinear. We use expectation-maximization to break the inference of the nonlinear model into a sequence of TGGM inference problems, each of which is efficiently solved by using the properties and numerical methods of multivariate Gaussian distributions. We use the TGGM to design models for nonlinear regression and classification, with the performances of these models demonstrated on extensive benchmark datasets and compared to state-of-the-art competing results.

연구 동기 및 목표

• 가우시안 그래픽 모델(GGM)의 본질적 선형성으로 인해 현실 세계의 데이터에서 복잡한 비선형 의존성을 모델링하는 데 한계가 있음을 해결하기 위해.
• 가우시안 분포의 계산적 이점을 유지하면서도, 잠재 변수의 잘라내기를 통해 비가우시안, 비선형 주변 분포를 가능하게 하는 계산이 용이한 비선형 모델을 개발하기 위해.
• 기대값-최대화(EM) 알고리즘과 다변량 가우시안 분포의 잘 알려진 수치적 성질을 활용해 비선형 모델에 대한 효율적 추론을 가능하게 하기 위해.
• 비선형 회귀 및 분류와 같은 실질적인 기계학습 작업에서 TGGM의 효과성을 입증하고, 최신 기술을 능가하는 성능을 보이기 위해.

제안 방법

• 기본 GGM의 잠재 변수에 비음성 제약 조건을 도입하여 절단 가우시안 그래픽 모델(TGGM)을 도입함으로써, 결합 분포를 절단된 다변량 가우시안 분포로 변환한다.
• 잘라낸 잠재 변수들을 통합하여 관측 변수 위의 비가우시안 주변 분포를 도출함으로써, 비선형 통계적 의존성을 유도한다.
• 기대값-최대화(EM) 알고리즘을 사용하여 추론 문제를 계산이 용이한 TGGM 추론 문제의 시퀀스로 분해하며, 각 문제는 기존의 다변량 가우시안 방법으로 해결 가능하다.
• 기본 GGM의 정밀도 행렬을 활용해 조건부 의존성 구조를 인코딩함으로써, 다양한 응용 분야에 유연한 모델 설계를 가능하게 한다.
• 백프로파게이션(TGGM-BP)과 최대우도 추정(TGGM-ML)을 모두 사용하여 TGGM을 학습하며, 후자는 절단된 가우시안 가정 하에 더 나은 우도 추정을 제공한다.
• 한 개 또는 두 개의 은닉층을 가진 딥 TGGM 아키텍처를 구성하며, 잘라내기로 유도된 ReLU 유사 활성화 기능을 사용하고, 표준 벤치마크 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 가우시안 그래픽 모델의 잠재 변수를 잘라내면 관측 변수 위의 비선형 주변 분포가 생성될 수 있는가?
• RQ2 결과로 도출된 TGGM 프레임워크는 EM 알고리즘과 기존의 다변량 가우시안 기법을 활용해 효율적이고 계산이 용이한 추론을 지원할 수 있는가?
• RQ3 TGGM 기반 모델은 비선형 회귀 및 분류 작업에서 최신 기술인 ReLU 기반 신경망과 비교해 어떻게 성능을 내는가?
• RQ4 절단된 가우시안 가정 하에 최대우도 추정이 TGGM에서 백프로파게이션보다 더 나은 성능을 내는가?
• RQ5 TGGM은 딥 아키텍처로 확장될 수 있으며, 실질적인 벤치마크 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• TGGM-BP는 20 NewsGroups 및 Blog 데이터셋에서 각각 73.65%와 67.50%의 테스트 정확도를 기록하여 ReLU 네트워크의 72.8%와 65.86%를 초월했다.
• TGGM-ML은 이중 은닉층 모델을 사용해 MNIST에서 98.31%의 정확도를 기록하며, 최고의 ReLU 결과인 98.04%를 능가했다.
• Blog 데이터셋에서 TGGM-ML은 단일 은닉층 모델로 69.89%의 정확도를 달성하여 최고의 ReLU 결과인 67.93%를 뛰어넘었다.
• TGGM 프레임워크는 잠재 변수의 잘라내기를 통해 비가우시안, 비선형 주변 분포를 유도함으로써, 표준 GGM보다 더 풍부한 모델링이 가능하다.
• EM 기반 추론 프레임워크는 기존의 가우시안 방법을 활용한 계산이 용이한 TGGM 추론 단계로 문제를 분해함으로써 효율적 학습을 가능하게 한다.
• 딥 아키텍처와 학습된 정밀도 행렬을 가진 TGGM은 ReLU 유사 활성화 기능을 가진 결정론적 신경망으로 볼 수 있으며, 이는 강력한 경험적 성능을 설명한다.