[논문 리뷰] Low Complexity Gaussian Latent Factor Models and a Blessing of Dimensionality.

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|2017. 06. 11.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 6

한 줄 요약

이 논문은 고차원, 저표본 설정에서 구조 복원과 공분산 추정을 향상시키기 위해 유한한 차원을 활용하는 새로운 저복잡도 가우시안 잠재因자 모델을 제안한다. 비제약 정보이론적 목적함수를 설정함으로써 전역 최적해를 확보하여, 기존 최첨단 기법들보다 합성 및 실세계 데이터에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Learning the structure of graphical models from data usually incurs a heavy curse of dimensionality that renders this problem intractable in many real-world situations. The rare cases where the curse becomes a blessing provide insight into the limits of the efficiently computable and augment the scarce options for treating very under-sampled, high-dimensional data. We study a special class of Gaussian latent factor models where each (non-iid) observed variable depends on at most one of a set of latent variables. We derive information-theoretic lower bounds on the sample complexity for structure recovery that suggest complexity actually decreases as the dimensionality increases. Contrary to this prediction, we observe that existing structure recovery methods deteriorate with increasing dimension. Therefore, we design a new approach to learning Gaussian latent factor models that benefits from dimensionality. Our approach relies on an unconstrained information-theoretic objective whose global optima correspond to structured latent factor generative models. In addition to improved structure recovery, we also show that we are able to outperform state-of-the-art approaches for covariance estimation on both synthetic and real data in the very under-sampled, high-dimensional regime.

연구 동기 및 목표

• 고차원, 저표본 데이터로부터 그래픽 모델을 학습할 때 발생하는 차원의 저주 문제를 해결하기 위해.
• 기존 기대와는 반대로 차원 증가가 잠재因자 모델 복원의 표본 복잡도를 감소시킬 수 있는지 조사하기 위해.
• 확장 가능한 정보이론적 방법을 개발하여, 고차원 환경에서의 구조 복원 성능을 향상시키기 위해.
• 이전 최첨단 기법들보다 고차원, 저표본 환경에서 공분산 추정 성능을 향상시키기 위해.

제안 방법

• 잠재因자 모델 학습을 위한 비제약 정보이론적 목적함수를 제안하여, 명시적 정규화나 제약 조건이 필요 없도록 한다.
• 목적함수의 전역 최적해가 각 관측 변수가 최대 한 개의 잠재변수에만 의존하는 구조적 잠재因자 생성 모델과 일치하도록 목적함수를 설계한다.
• 표본 복잡도에 대한 정보이론적 하한을 유도하여, 이 모델 클래스에서 차원 증가에 따라 복잡도가 감소함을 드러낸다.
• 정보이론적 목적함수를 직접 최소화하는 확장 가능한 최적화 절차를 구현하여 고차원 환경에서도 효율적인 학습을 가능하게 한다.
• 구조 복원과 공분산 추정을 동시에 수행할 수 있는 프레임워크에 방법을 통합하여, 차원의 복리 효과를 활용한다.
• 합성 및 실세계 데이터셋에서 접근법을 검증하여, 고차원, 저표본 환경에서의 강인성과 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 가우시안 잠재因자 모델에서, 차원 증가가 구조 복원에 필요한 표본 복잡도를 감소시킬 수 있는가?
• RQ2 이론적 하한은 이를 반영하나, 왜 기존의 구조 복원 방법들은 차원 증가에 따라 성능이 떨어지는가?
• RQ3 제약 조건 없이 정보이론적 목적함수를 사용하면, 명시적 정규화 없이도 전역 최적의 구조적 잠재因자 모델을 도출할 수 있는가?
• RQ4 제안된 방법은 극도로 저표본, 고차원 환경에서 공분산 추정 성능에서 최첨단 기법들을 능가하는가?
• RQ5 이 모델 구조는 고차원, 저표본 환경에서 일반화 성능 향상에 어떤 방식으로 기여하는가?

주요 결과

• 이론적 분석을 통해 제안된 가우시안 잠재因자 모델 클래스에서, 구조 복원의 표본 복잡도가 차원 증가에 따라 감소함을 확인하였다.
• 이론적 이점이 있음에도 불구하고, 기존의 구조 복원 방법들은 고차원에서 성능이 떨어지며, 이는 이론과 실무 간 격차를 보여준다.
• 고차원, 저표본 설정에서 최첨단 기법들보다 뛰어난 구조 복원 성능을 달성하였다.
• 표본 수가 차원 수에 비해 적은 조건에서, 합성 및 실세계 데이터셋 모두에서 기존 방법들보다 공분산 추정 성능이 뛰어나다는 것을 입증하였다.
• 비제약 정보이론적 목적함수를 통해 전역 최적해 보장이 있는 구조적 잠재因자 모델을 성공적으로 식별하였다.
• 실험 결과를 통해 차원이 이론적으로는 복리이지만 실질적으로는 저표본 환경에서의 강건한 학습을 가능하게 함을 확인하였다.