[논문 리뷰] Kernel-Based Just-In-Time Learning for Passing Expectation Propagation Messages

Wittawat Jitkrittum, Arthur Gretton외 5명|arXiv (Cornell University)|2015. 03. 09.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 10

한 줄 요약

이 논문은 분석적 해가 없을 때 계산 비용이 높은 메시지 적분을 빠르고 불확실성 인식 가능한 회귀 모델로 대체하는 커널 기반의 즉시 학습(KJIT) 방법을 제안한다. 재생 커널 힐버트 공간(RKHS) 내에서 이중 수준의 랜덤 특징 표현을 사용함으로써 KJIT는 효율적인 온라인 업데이트와 신뢰할 수 있는 불확실성 추정을 가능하게 하여, 모델이 불확실할 때에만 오라클을 쿼리할 수 있도록 하여 표준 EP나 이전의 학습 기반 접근법보다 낮은 계산 비용으로 높은 정확도를 달성한다.

ABSTRACT

We propose an efficient nonparametric strategy for learning a message operator in expectation propagation (EP), which takes as input the set of incoming messages to a factor node, and produces an outgoing message as output. This learned operator replaces the multivariate integral required in classical EP, which may not have an analytic expression. We use kernel-based regression, which is trained on a set of probability distributions representing the incoming messages, and the associated outgoing messages. The kernel approach has two main advantages: first, it is fast, as it is implemented using a novel two-layer random feature representation of the input message distributions; second, it has principled uncertainty estimates, and can be cheaply updated online, meaning it can request and incorporate new training data when it encounters inputs on which it is uncertain. In experiments, our approach is able to solve learning problems where a single message operator is required for multiple, substantially different data sets (logistic regression for a variety of classification problems), where it is essential to accurately assess uncertainty and to efficiently and robustly update the message operator.

연구 동기 및 목표

• 분석적 해가 없을 때 기대값 전파(EP) 메시지 업데이트의 높은 계산 비용을 해결하기 위해.
• 닫힌 형태의 적분이 필요 없이 비모수적이고 빠르며 불확실성 인식 가능한 방법으로 EP 내 메시지 연산자를 학습하기 위해.
• 예측 불확실성으로 오라클 쿼리를 트리거하는 방식으로 온라인 즉시 학습을 가능하게 하기 위해.
• 신경망과 랜덤 포레스트와 같은 이전 접근법의 한계를 극복하기 위해 체계적인 불확실성 추정과 효율적인 온라인 업데이트를 제공하기 위해.
• 로지스틱 회귀를 포함한 다양한 베이지안 모델에서 높은 성능을 보이며, 정확도 손실 최소화와 함께 빠른 속도 향상을 보여주기 위해.

제안 방법

• 메시지 연산자 학습을 확률 분포를 재생 커널 힐버트 공간(RKHS)에 임bedding하는 특성 커널을 사용한 분포 회귀 문제로 프레임워크화한다.
• 새로운 이중 수준의 랜덤 특징 표현을 도입한다: 첫 번째로 랜덤 푸리에 특징이 입력 분포를 매핑하고, 두 번째로는 원래 공간에서의 회귀를 위한 두 번째 레이어의 랜덤 특징을 사용하여 빠른 예측과 업데이트를 가능하게 한다.
• 이 회귀 모델은 가우시안 프로세스로 구현되어 각 출력 메시지에 대해 잘 정립된 예측 불확실성 추정을 제공한다.
• 불확실성 추정은 온라인 학습을 이끌며, 모델이 높은 불확실성으로 예측할 경우 정확한 EP 오라클에서 새로운 학습 쌍을 쿼리함으로써 적응적이고 즉시 학습 가능한 개선이 가능하다.
• 모델은 중요도 샘플링을 통해 생성된 메시지 쌍의 미니배치로 훈련되며, 새로운 불확실한 예측이 발생할 때마다 점진적으로 업데이트된다.
• 이 방법은 EP의 요소 노드에 적용되어 표준 다변량 적분을 학습된 비모수적 매핑으로 대체함으로써 다양한 데이터 분포에 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 닫힌 형태의 적분이 필요 없이 비모수적이고 커널 기반의 회귀 모델이 기대값 전파(EP) 내 메시지 연산자를 신뢰성 있게 학습할 수 있는가?
• RQ2 그러한 모델이 효과적인 즉시 학습 오라클 쿼리를 이끌 수 있도록 체계적인 불확실성 추정을 제공할 수 있는가?
• RQ3 제안된 방법이 다양한 베이지안 모델에서 정확도는 동일하게 유지하면서도 표준 EP보다 뚜렷이 계산 비용을 줄일 수 있는가?
• RQ4 이 커널 기반 접근법의 불확실성 추정은 특히 분포 외부 설정에서 랜덤 포레스트의 히وري스틱 불확실성 추정보다 어떻게 비교되는가?
• RQ5 모델이 온라인 업데이트를 통해 다양한 분류 데이터셋 간 전환과 같은 입력 메시지 분포의 변화에 효율적으로 적응할 수 있는가?

주요 결과

• KJIT는 Infer.NET을 오라클로 사용하여 정확한 추론 결과와 일치하는 사후 분포 추정을 달성하여 다양한 베이지안 모델에서 높은 정확도를 보였다.
• 표준 EP보다 추론 시간을 크게 줄였으며, 문제를 더 많이 학습할수록 오라클 쿼리 횟수가 감소함에 따라 비용이 점차 감소했다.
• 새로운 데이터셋으로 전환할 때 첫 번째 EP 반복 후 불확실성 추정이 급격히 증가하여 분포 이질성의 빠른 감지를 확인했다.
• 오라클 쿼리 이후 불확실성은 점진적으로 감소하여, 온라인 학습을 통해 모델이 새로운 데이터 분포에 성공적으로 적응함을 확인했다.
• KJIT는 네 개인 UCI 이진 분류 데이터셋에서 테스트 세트의 분류 정확도를 유지하면서도 추론 시간을 줄여 표준 EP와 이전의 학습 기반 방법보다 뛰어난 성능을 보였다.
• 실험 결과, KJIT의 불확실성 추정은 특히 랜덤 포레스트의 히وري스틱 추정이 실패하는 분포 외부 설정에서 더 강건하고 정보가 풍부한 것으로 나타났다.