[논문 리뷰] Encoding prior knowledge in the structure of the likelihood

Jakob Knollmüller, T. A. Enßlin|arXiv (Cornell University)|2018. 12. 11.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 사전 지식을 우도 구조에 통합함으로써 깊이 있는 계층 구조를 가진 베이지안 모델을 재구성하는 비선형적이고 결정론적인 변환을 제안한다. 이는 깊은 계층을 독립적인 표준 정규 사전분포로 평탄화한다. 다변량 분포 전환을 적용한 후 누적분포함수의 역함수를 사용하여 매개변수 간의 사전 상관관계를 해소함으로써, 수렴이 빠르고 잘 조절된 변분 추론이 가능해지며, 특히 데이터가 적은 상황에서 효과적이다. 또한 원래 모델과 통계적으로 동치성을 유지한다.

ABSTRACT

The inference of deep hierarchical models is problematic due to strong dependencies between the hierarchies. We investigate a specific transformation of the model parameters based on the multivariate distributional transform. This transformation is a special form of the reparametrization trick, flattens the hierarchy and leads to a standard Gaussian prior on all resulting parameters. The transformation also transfers all the prior information into the structure of the likelihood, hereby decoupling the transformed parameters a priori from each other. A variational Gaussian approximation in this standardized space will be excellent in situations of relatively uninformative data. Additionally, the curvature of the log-posterior is well-conditioned in directions that are weakly constrained by the data, allowing for fast inference in such a scenario. In an example we perform the transformation explicitly for Gaussian process regression with a priori unknown correlation structure. Deep models are inferred rapidly in highly and slowly in poorly informed situations. The flat model show exactly the opposite performance pattern. A synthesis of both, the deep and the flat perspective, provides their combined advantages and overcomes the individual limitations, leading to a faster inference.

연구 동기 및 목표

• 강한 매개변수 상관관계로 인한 수치적 불안정성과 느린 수렴 문제를 해결하기 위해 깊이 있는 계층적 베이지안 모델의 문제를 다루기.
• 고차원이며 깊이 있는 계층적 모델에서 변분 추론의 한계를 극복하기 위해 표준화된 공간으로의 재매개변수화를 통한 접근.
• 모델의 사전분포 간 상관관계를 사전에 해소하기 위해 매개변수를 독립적인 표준 정규분포로 변환하면서도 통계적 모델 동치성을 유지하기.
• 데이터가 부족한(낮은 데이터) 상황에서 빠른 추론을 가능하게 하기 위해 변환된 공간에서 로그사후분포의 곡률 조건을 개선하기.
• 깊이 있는 모델과 평탄한 모델의 관점 간 번갈아가며 추론을 수행함으로써 개별 성능 한계를 극복하고 전체 성능을 향상시키기.

제안 방법

• 기존의 계층적 매개변수를 독립적이고 균일 분포를 가진 변수로 변환하기 위해 다변량 분포 전환을 적용한다.
• 사전분포의 누적분포함수의 역함수를 사용하여 균일 분포 변수를 평균 0, 분산 1인 표준 정규분포 변수로 매핑한다.
• 백색 정규분포 변수에서 원래 모델의 매개변수로의 비선형적이고 결정론적인 변환을 구축함으로써, 모든 사전 지식을 우도 구조에 통합한다.
• 표준화된 공간에서 변분 추론을 수행하며, 이는 데이터가 정보가 부족할 경우 매우 정확한 가우시안 근사를 제공한다.
• 약한 제약 조건이 가해지는 방향에서 로그사후분포의 잘 조절된 곡률을 활용하여, 정보가 적은 상황에서 수렴 속도를 가속화한다.
• 다양한 데이터 환경에서 원래의 깊은 모델과 변환된 평탄한 모델 간의 추론 성능을 비교함으로써 접근의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 깊이 있는 계층적 모델에서 사전 지식을 어떻게 체계적으로 우도 구조에 통합하여 매개변수 간 상관관계를 해소할 수 있는가?
• RQ2 표준화된 가우시안 매개변수 공간으로의 변환은 변분 추론의 조건수와 수렴성에 어떤 영향을 미치는가?
• RQ3 어떤 데이터 환경에서 변환된 평탄한 모델이 원래의 깊은 모델보다 우수하고, 반대로 언제 원래 모델이 더 우수한가?
• RQ4 깊이 있는 모델과 평탄한 모델의 관점을 번갈아가며 추론함으로써 개별적인 한계를 극복하고 전체 성능을 향상시킬 수 있는가?
• RQ5 변환된 공간에서 로그사후분포의 곡률는 어떻게 행동하는가? 이는 수치적 안정성과 속도에 어떤 함의를 갖는가?

주요 결과

• 변환 과정을 통해 매개변수 간의 사전 상관관계가 해소되어 변환된 공간에서 독립적인 표준 정규 사전분포가 형성되며, 이는 변분 추론을 단순화한다.
• 낮은 데이터 상황에서는 변환된 평탄한 모델이 약한 제약 조건이 가해지는 방향에서 잘 조절된 곡률 덕분에 빠르고 정확한 추론을 달성한다.
• 높은 데이터 상황에서는 원래의 깊은 모델이 강한 제약 조건이 가해지는 방향에서 더 잘 조절되어 있어 더 우수한 성능을 보이며, 평탄한 모델은 어려움을 겪는다.
• 이 방법은 변환이 결정론적이며 역행할 수 있으므로 정보 손실 없이 원래 모델과 통계적으로 동치성을 유지한다.
• 깊이 있는 모델과 평탄한 모델의 관점을 번갈아가며 수치적 알고리즘에 적용하면, 모든 데이터 환경에서 수렴 속도가 빨라지고 성능이 향상된다.
• 모르는 상관 구조를 가진 가우시안 프로세스 회귀의 경우, 변환을 통해 파wer 스펙트럼 사전분포를 우도 구조에 통합함으로써 효율적인 추론이 가능해진다.