[논문 리뷰] Bayesian Inference of Log Determinants

Jack Fitzsimons, Kurt Cutajar외 3명|arXiv (Cornell University)|2017. 04. 05.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 10

한 줄 요약

이 논문은 큰 커널 행렬의 로그 행렬식을 추정하기 위해, 행렬 거듭제곱의 노이즈 있는 스토하스틱 트레이스 추정치를 가우시안 프로세스 관측치로 모델링하는 베이지안 추론 프레임워크를 제안한다. 베이지안 사다리법을 사용하여 점 추정치와 신뢰도 측정을 동시에 제공하며, 정확도에서 최신 기술을 능가하면서도 진짜 오차가 두 표준편차 이내에 포함되는 24회의 시험 중 23회에서 신뢰할 수 있는 불확실성 추정치를 제공한다.

ABSTRACT

The log-determinant of a kernel matrix appears in a variety of machine learning problems, ranging from determinantal point processes and generalized Markov random fields, through to the training of Gaussian processes. Exact calculation of this term is often intractable when the size of the kernel matrix exceeds a few thousand. In the spirit of probabilistic numerics, we reinterpret the problem of computing the log-determinant as a Bayesian inference problem. In particular, we combine prior knowledge in the form of bounds from matrix theory and evidence derived from stochastic trace estimation to obtain probabilistic estimates for the log-determinant and its associated uncertainty within a given computational budget. Beyond its novelty and theoretic appeal, the performance of our proposal is competitive with state-of-the-art approaches to approximating the log-determinant, while also quantifying the uncertainty due to budget-constrained evidence.

연구 동기 및 목표

• 대규모 커널 행렬에서 정확한 로그 행렬식 계산의 계산 불가능성을 해결하기 위해.
• 노이즈 있는 행렬 트레이스 관측치를 사용하여 로그 행렬식 추정을 베이지안 추론 문제로 재구성하기 위해.
• 행렬 이론에서 유도된 이론적 경계를 통합하여 사후 추정 정확도를 향상시키기 위해.
• 근사치에 대한 불확실성 측정을 제공하여 품질 지표로 기능하기 위해.
• 결정점 프로세스와 같은 대규모 파라미터 학습에서의 실용적 유용성을 입증하기 위해.

제안 방법

• 스토하스틱 트레이스 추정을 통해 확보한 Tr(A^k)의 노이즈 있는 관측치를 기반으로, 행렬의 고유값을 가우시안 프로세스로 모델링한다.
• 로그 함수의 테일러 급수 전개를 활용하여 로그 행렬식을 행렬 트레이스의 무한 급수로 표현한다.
• 기대 로그 행렬식에 대한 경계를 통해 사전 지식을 통합하여 사후 분포를 제약한다.
• 베이지안 사다리법을 적용하여 급수에 대한 가우시안 프로세스 사후 분포를 통합함으로써 로그 행렬식의 확률적 추정치를 도출한다.
• 제한된 계산 예산 내에서 비편향이면서 노이즈가 있는 Tr(A^k) 추정치를 생성하기 위해 스토하스틱 랑츠 사다리법을 사용한다.
• 최종 추정치의 불확실성은 가우시안 프로세스 모델의 예측 분산을 통해 측정한다.

실험 결과

연구 질문

• RQ1 로그 행렬식 추정을 불확실성 측정이 가능한 베이지안 추론 문제로 재해석할 수 있는가?
• RQ2 로그 행렬식에 대한 이론적 경계는 확률적 추정치의 정확도를 어떻게 향상시키는가?
• RQ3 불확실성 추정치는 진짜 근사 오차와 어느 정도 상관관계가 있는가?
• RQ4 이 방법은 정확도 면에서 기존 최신 기술을 능가하면서도 불확실성 추정을 제공할 수 있는가?
• RQ5 이 방법은 결정점 프로세스의 파라미터 최적화와 같은 실용적인 대규모 학습 시나리오에서 얼마나 효과적인가?

주요 결과

• 제안된 방법은 합성 및 실제 데이터셋에서 최신 기술과 비교해 경쟁 가능한 정확도를 달성했다.
• 불확실성 추정치는 매우 신뢰할 수 있었으며, UFL 데이터셋에서 24회의 시험 중 23회에서 절대 오차가 두 표준편차 이내에 포함되었다.
• 이 방법은 대규모 결정점 프로세스의 정확한 파라미터 선택을 성공적으로 가능하게 하였으며, 소수의 행렬-벡터 곱만으로 진짜 길이 척도를 높은 신뢰도로 식별할 수 있었다.
• 이론적 경계를 통합함으로써 사후 추정치의 정확도가 크게 향상되었으며, 과신을 줄이고 강건성을 향상시켰다.
• 이 방법이 제공하는 불확실성 측정은 모든 경쟁 기법에서 부재한 의미 있는 근사 품질 지표로 기능한다.
• 이 방법은 다양한 계산 예산에서 뛰어난 성능을 보였으며, 더 많은 행렬-벡터 곱을 사용할수록 불확실성이 예측 가능하게 감소하였다.