[논문 리뷰] Interpretable deep Gaussian processes with moments

Chi-Ken Lu, Scott Cheng‐Hsin Yang외 2명|arXiv (Cornell University)|2019. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 6

한 줄 요약

이 논문은 두 번째 및 네 번째 모멘트를 분석적으로 계산하여 딥 가우시안 프로세스(DGPs)를 가우시안 프로세스로 근사함으로써 해석 가능한 딥 가우시안 프로세스를 제안한다. 이는 명시적인 커널 유도와 해석 가능성 가능성을 제공한다. 이 방법은 깊이에 기인한 국소적이지 않고, 정적성이 없으며, 다중 척도의 상관관계를 규명하며, 표현력 매개변수 χ를 통해 고도로 표현 가능한 혼돈 단계를 식별한다. 또한 동질적 및 이질적 DGP 아키텍처에 대해 폐쇄형 효과 커널을 제공하며, 불확실성 정량화와 모델링 능력에서 뛰어난 성능을 보인다.

ABSTRACT

Deep Gaussian Processes (DGPs) combine the expressiveness of Deep Neural Networks (DNNs) with quantified uncertainty of Gaussian Processes (GPs). Expressive power and intractable inference both result from the non-Gaussian distribution over composition functions. We propose interpretable DGP based on approximating DGP as a GP by calculating the exact moments, which additionally identify the heavy-tailed nature of some DGP distributions. Consequently, our approach admits interpretation as both NNs with specified activation functions and as a variational approximation to DGP. We identify the expressivity parameter of DGP and find non-local and non-stationary correlation from DGP composition. We provide general recipes for deriving the effective kernels for DGP of two, three, or infinitely many layers, composed of homogeneous or heterogeneous kernels. Results illustrate the expressiveness of our effective kernels through samples from the prior and inference on simulated and real data and demonstrate advantages of interpretability by analysis of analytic forms, and draw relations and equivalences across kernels.

연구 동기 및 목표

• 딥 가우시안 프로세스(DGPs)의 해석 가능성 격차를 해결하기 위해, 복잡하고 비가우시안인 계층적 구조로 인해 투명성이 떨어지는 문제를 해결한다.
• 정확한 모멘트 계산을 통해 효과 커널을 유도함으로써 DGP 행동의 분석적 이해를 가능하게 한다. 특히 두 번째 및 네 번째 모멘트를 중심으로 한다.
• DGP 조합에서 순서형과 혼란형 단계 간 전이를 지배하는 표현력 매개변수 χ를 규명하고 특성화한다.
• 동질적 및 이질적 커널(등가로 활성화 함수로 간주됨)을 포함한 다층 DGP에 대한 효과 커널을 체계적으로 구성하는 일반적인 방법론을 제공한다.
• 모멘트 기반 근사가 해석 가능하고 표준 GP 근사보다 더 표현력이 뛰어난 변분 추론 방법을 제공함을 입증한다.

제안 방법

• 이 방법은 DGP 사후분포의 정확한 두 번째 모멘트를 계산하여 전체 DGP를 단일 레이어 GP로 근사함으로써, 효과적인 공분산 함수의 분석적 유도를 가능하게 한다.
• 또한 네 번째 모멘트를 계산하여 DGP 분포의 무거운 尾(heavy-tailed) 특성을 드러내며, 비가우시안 행동과 잠재적인 비가우시안 예측 분포를 시사한다.
• 재귀적 접근을 사용하여 깊은 아키텍처(예: SE[SE[SE]])의 효과 커널을 유도하며, 중간 레이어를 GP로 간주한 후 전체 계층을 조합한다.
• 이 방법은 임의의 레이어 수에 일반화 가능하며, 동질적 및 이질적 커널 조합 모두를 지원하며, 각 경우에 대해 명시적인 공식을 도출한다.
• 효과 커널은 합성 및 실세계 데이터에 대한 사전 및 사후 예측 시뮬레이션을 통해 검증되었으며, 강력한 모델링 성능을 보였다.
• 우도 최적화를 통해 혼돈 영역(χ ≈ 1)을 식별하며, 이는 표현력이 최고조에 이르는 지점이다.

실험 결과

연구 질문

• RQ1 딥 가우시안 프로세스는 표현력과 불확실성 정량화를 유지하면서 어떻게 해석 가능하게 만들 수 있는가?
• RQ2 두 번째 및 네 번째 모멘트는 DGP를 GP로 근사하고 비가우시안 특성을 드러내는 데 어떤 역할을 하는가?
• RQ3 깊이가 DGP 조합에서 국소적이지 않고, 정적성이 없는 상관관계를 어떻게 유도하는가?
• RQ4 표현력 매개변수 χ는 DGP 모델에서 순서형과 혼란형 단계 간 전이를 결정하는 데 어떤 역할을 하는가?
• RQ5 모멘트 기반 근사법을 사용하여 동질적 및 이질적 DGP 아키텍처에 대해 효과 커널을 체계적으로 도출할 수 있는가?

주요 결과

• 모멘트 기반 근사법은 깊이와 커널 조합에 관계없이 어떤 경우에도 해석 가능한 단일 레이어 GP로 딥 GP를 성공적으로 변환하며, 효과 커널의 분석적 유도를 가능하게 한다.
• 네 번째 모멘트 분석은 일부 DGP 모델에서의 비정상 분포를 드러내며, DGP 사후분포가 표준 GP 근사에서 포착하지 못하는 꼬리가 두꺼운 분포를 띌 수 있음을 시사한다.
• 표현력 매개변수 χ는 χ ∝ (σ/ℓ)^(L−1)로 정의되며, 효과 커널의 감쇠와 샘플링 함수의 매끄러움을 지배하며, χ ≈ 1 근처에서 최대 우도가 관찰된다.
• SE[SE[SE]] 커널을 사용한 3층 DGP의 경우, 재귀적 커널 유도(Eq. 28)는 직접적인 두 번째 모멘트 접근(Eq. 17)보다 더 매끄럽고 제약이 강한 함수를 생성하며, 특히 χ 값이 높을수록 두드러진다.
• 하이퍼파rameter 최적화 결과, χ ≈ 1 근처에서 로그 우도가 급격히 증가함을 확인하였으며, 이는 혼돈 단계가 DGP 모델에서 표현력이 최고조에 이르는 지점임을 확인한다.
• 이 방법은 표준 변분 추론보다 해석 가능성이 뛰어나면서도, 시뮬레이션 및 실세계 데이터에서 강력한 모델링 성능을 유지하며, 깊이가 상관관계 구조에 어떻게 영향을 주는지를 명시적인 해석 가능한 형태로 연결한다.