[논문 리뷰] Generalized Product of Experts for Automatic and Principled Fusion of Gaussian Process Predictions

Yanshuai Cao, David J. Fleet|arXiv (Cornell University)|2014. 10. 28.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 119

한 줄 요약

이 논문은 공동 학습 없이도 확장성, 표현력, 강인성 및 원칙적인 확률적 융합을 달성하는 가우시안 프로세스(GP) 예측 융합을 위한 일반화된 전문가의 곱(gPoE) 프레임워크를 제안한다. 예측 엔트로피에서 유도된 입력에 의존하는 신뢰도 가중치를 사용함으로써, gPoE는 개별 GP 전문가의 병렬 학습을 가능하게 하고, 신뢰할 수 없는 예측을 저감시키며, 유효한 닫힘 형태의 가우시안 사후분포를 생성한다.

ABSTRACT

In this work, we propose a generalized product of experts (gPoE) framework for combining the predictions of multiple probabilistic models. We identify four desirable properties that are important for scalability, expressiveness and robustness, when learning and inferring with a combination of multiple models. Through analysis and experiments, we show that gPoE of Gaussian processes (GP) have these qualities, while no other existing combination schemes satisfy all of them at the same time. The resulting GP-gPoE is highly scalable as individual GP experts can be independently learned in parallel; very expressive as the way experts are combined depends on the input rather than fixed; the combined prediction is still a valid probabilistic model with natural interpretation; and finally robust to unreliable predictions from individual experts.

연구 동기 및 목표

• 확장성, 입력에 의존하는 가중치, 유효한 확률적 출력, 열악한 전문가에 대한 강인성의 네 가지 특성을 동시에 만족하는 융합 프레임워크의 부족을 해결한다.
• MoE, PoE, 백킹, 스태킹과 같은 기존 방법들은 네 가지 바람직한 성질를 동시에 충족하지 못하므로 이를 극복한다.
• 불확실성을 유지하면서도 독립된 전문가의 병렬 학습이 가능한 원칙적인 확장 가능한 융합 메커니즘을 개발한다.
• 각 전문가가 오직 256개의 학습 포인트만을 사용하여도 gPoE가 최첨단의 희소 GP 근사치와 경쟁하거나 그에 못지않게 성능을 발휘할 수 있음을 입증한다.

제안 방법

• 각 전문가의 기여를 입력에 의존하는 신뢰도 점수 αᵢ(x)로 가중하는 일반화된 전문가의 곱(gPoE) 모델을 제안하며, 이는 예측 엔트로피에서 유도된다.
• 결합된 사후분포를 P(y|x) ∝ ∏ᵢ pᵢ(y|x)^αᵢ(x)로 설정함으로써, 결과적으로 닫힘 형태의 평균과 공분산를 갖는 유효한 가우시안 분포를 보장한다.
• 사전과 사후의 엔트로피 변화를 전문가의 신뢰도 측정 기준으로 사용하며, 이는 과신하거나 잘못 지정된 전문가를 자연스럽게 저감시한다.
• 융합된 평균과 공분산에 대한 분석적 표현을 유도한다: m(x) = (∑ᵢ mᵢ(x)Tᵢ(x)) (∑ᵢ Tᵢ(x))⁻¹ 과 Σ(x) = (∑ᵢ Tᵢ(x))⁻¹, 여기서 Tᵢ(x)는 i번째 GP 전문가의 정밀도이다.
• 융합 단계가 사후적으로 수행되며 공동 최적화가 필요 없기 때문에 개별 GP 전문가의 완전한 병렬 학습을 가능하게 한다.
• 성능을 유지하면서 추론 효율성을 향상시키기 위해 트리 구조를 가진 변형인 tree-gPoE를 도입한다.

실험 결과

연구 질문

• RQ1 독립적인 GP 전문가 학습이 가능하면서도 입력 적응형, 강인성 있고 유효한 확률적 예측을 달성할 수 있는 융합 프레임워크를 설계할 수 있는가?
• RQ2 예측 엔트로피 변화를 신뢰도 측정 기준으로 사용할 경우, 예측 분산만에 의존하는 것보다 모델 오지정에 대해 강인성이 향상되는가?
• RQ3 각 전문가가 소수의 학습 포인트만을 사용하여도 gPoE가 SVI-GP나 FITC와 같은 고급 희소 GP 근사치와 경쟁성 있는 성능을 달성할 수 있는가?
• RQ4 모델 오지정 상황에서 gPoE가 표준 PoE, MoE, 백킹, 스태킹보다 강인성과 표현력 면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• gPoE는 네 가지 바람직한 특성 모두를 달성한다: 확장 가능한 병렬 학습, 입력에 의존하는 융합, 유효한 확률적 출력, 신뢰할 수 없는 전문가에 대한 강인성.
• UK-APT 데이터셋에서 각 전문가가 256개의 학습 포인트만을 사용할 경우 gPoE는 RMSE 0.556을 기록하여 SVI-GP(0.426)를 능가했으며, 더 복잡한 희소 GP 근사치와 경쟁하거나 그 이상의 성능을 보였다.
• tree-gPoE 변형은 테스트 시 추론 비용을 감소시키면서도 강력한 성능을 유지했으며, UK-APT에서 RMSE 0.456을 기록했다.
• SARCOS와 KIN40K에서 gPoE는 PoE와 MoE를 크게 능가했으며, SMSE는 SARCOS에서 PoE의 0.438에서 gPoE의 0.0603으로 감소했고, SNLP 면에서도 뛰어난 성능을 보였다.
• 각 전문가가 오직 256개의 포인트만을 사용함에도 불구하고 gPoE의 성능은 정교한 희소 GP 방법과 경쟁 가능했으며, 높은 표현력과 일반화 능력을 보여주었다.
• 실증 결과는 예측 분산이 정확하지 않을 경우에도 엔트로피 변화가 전문가의 신뢰도에 대한 신뢰할 수 있는 지표임을 보여주며, 모델 오지정에 대한 강인성을 시사한다.