[논문 리뷰] Bayesian Prediction for Artificial Intelligence

Matthew W. Self, Peter Cheeseman|arXiv (Cornell University)|2013. 03. 27.

Bayesian Modeling and Causal Inference참고 문헌 7인용 수 3

한 줄 요약

이 논문은 소규모 데이터셋을 사용할 경우 베이지안 예측에서 단일 최적 모델을 선택하는 것(철학적 추론)보다는 모든 모델의 평균을 취하는 모델 평균화(전도)를 사용해야 한다고 주장한다. 이는 잘못된 예측을 방지하고 일반적인 모델 클래스에 대해 닫힌 형태의 최적 해를 제공한다.

ABSTRACT

This paper shows that the common method used for making predictions under uncertainty in A1 and science is in error. This method is to use currently available data to select the best model from a given class of models-this process is called abduction-and then to use this model to make predictions about future data. The correct method requires averaging over all the models to make a prediction-we call this method transduction. Using transduction, an AI system will not give misleading results when basing predictions on small amounts of data, when no model is clearly best. For common classes of models we show that the optimal solution can be given in closed form.

연구 동기 및 목표

• 일반적인 AI 예측 방법이 모델 클래스에서 단일 최적 모델을 선택하는 데 의존함으로써 야기하는 결함을 규명하는 것.
• 소규모 데이터셋에서 명확한 모델이 존재하지 않을 경우 잘못된 예측이 발생하는 문제를 해결하는 것.
• 전도—모든 모델의 예측을 평균화하는 것—를 베이지안 예측의 올바른 방법으로 제안하는 것.
• 전도 프레임워크 하에서 일반적인 모델 클래스에 대해 닫힌 형태의 최적 해를 도출하는 것.
• 모델 불확실성 하에서 이론적으로 타당하고 실용적인 모델 철학적 추론의 대안을 확립하는 것.

제안 방법

• 모델 철학적 추론(최적 모델 선택)을 모든 모델의 예측 평균화를 통한 전도로 대체하는 것.
• 주어진 모델 클래스에 속하는 모든 모델에 대해 베이지안 추론을 적용하여 모델 사후 확률을 계산하는 것.
• 모델 사후 확률에 가중치를 두어 모든 모델에 걸쳐 통합하는 방식으로 예측 분포를 계산하는 모델 평균화를 사용하는 것.
• 지수족과 같은 일반적인 모델 클래스에 대해 예측에 대한 닫힌 형태의 해를 도출하는 것.
• 모델 공간에 대한 마진화로 예측을 설정하여 모델 불확실성에 대한 강건성을 확보하는 것.
• 소규모 데이터에서 지원이 부족한 모델에 대한 과신을 방지하여 잘못된 예측의 위험을 줄이는 전도의 효과를 입증하는 것.

실험 결과

연구 질문

• RQ1 왜 소규모 데이터 환경에서는 모델 선택(철학적 추론)이 잘못된 예측을 유도하는가?
• RQ2 단일 모델이 명백히 최적임이 확인되지 않을 경우 어떻게 하면 베이지안 예측을 강건하게 만들 수 있는가?
• RQ3 모델 불확실성 하에서 베이지안 예측의 이론적으로 올바른 방법은 무엇인가?
• RQ4 일반적인 모델 클래스에 대해 최적 예측을 위한 닫힌 형태의 해를 도출할 수 있는가?
• RQ5 정확도와 신뢰성 측면에서 전도는 모델 선택보다 어떻게 다를까?

주요 결과

• 특히 소규모 데이터셋에서 예측 불확실성 하에서는 모델 선택(철학적 추론)이 근본적으로 잘못된 방법이다.
• 모든 모델의 평균을 취하는 전도는 단일 최적 모델을 선택하는 것보다 더 신뢰할 수 있고 강건한 예측을 제공한다.
• 지수족과 같은 일반적인 모델 클래스의 경우, 전도 하에서 최적 예측은 닫힌 형태로 계산할 수 있다.
• 전도 방법은 지원이 부족한 모델에 대한 과신을 방지하여 잘못된 예측의 위험을 줄인다.
• 모델 불확실성을 예측에 완전히 반영함으로써 베이지안 원칙에 부합하는 일관성을 확보한다.
• 이 방법은 공식적으로 검증되었으며 AI 예측 과제에서 모델 철학적 추론의 올바른 대안으로 제시된다.