[논문 리뷰] Probabilistic Artificial Intelligence

Andreas Krause, Jonas Hübotter|ArXiv.org|2025. 02. 07.

Advanced Data Processing Techniques인용 수 4

한 줄 요약

이 원고는 확률적 인공지능에 대한 대학원 수준의 소개를 제공하며, 확률적 추론, 불확실성 유형, 그리고 베이지안 방법과 현대 RL을 통한 순차 의사결정을 자세히 서술합니다.

ABSTRACT

Artificial intelligence commonly refers to the science and engineering of artificial systems that can carry out tasks generally associated with requiring aspects of human intelligence, such as playing games, translating languages, and driving cars. In recent years, there have been exciting advances in learning-based, data-driven approaches towards AI, and machine learning and deep learning have enabled computer systems to perceive the world in unprecedented ways. Reinforcement learning has enabled breakthroughs in complex games such as Go and challenging robotics tasks such as quadrupedal locomotion. A key aspect of intelligence is to not only make predictions, but reason about the uncertainty in these predictions, and to consider this uncertainty when making decisions. This is what this manuscript on "Probabilistic Artificial Intelligence" is about. The first part covers probabilistic approaches to machine learning. We discuss the differentiation between "epistemic" uncertainty due to lack of data and "aleatoric" uncertainty, which is irreducible and stems, e.g., from noisy observations and outcomes. We discuss concrete approaches towards probabilistic inference and modern approaches to efficient approximate inference. The second part of the manuscript is about taking uncertainty into account in sequential decision tasks. We consider active learning and Bayesian optimization -- approaches that collect data by proposing experiments that are informative for reducing the epistemic uncertainty. We then consider reinforcement learning and modern deep RL approaches that use neural network function approximation. We close by discussing modern approaches in model-based RL, which harness epistemic and aleatoric uncertainty to guide exploration, while also reasoning about safety.

연구 동기 및 목표

• 불확실성 하에서 AI의 기초로서 확률 이론 및 확률적 추론을 소개한다.
• 학습 및 예측에 대한 영향력을 설명하기 위해 에피스테믹 불확실성과 알레이터릭 불확실성을 구분한다.
• 베이지안 선형 회귀, 가우시안 프로세스, 베이지안 신경망 등의 핵심 확률 모델과 추론 기법(VI, MCMC)을 제시한다.
• 활동적 학습, 베이지안 최적화, 그리고 모델 기반 접근을 포함하여 불확실성하에서의 순차 의사결정을 논의한다.

제안 방법

• Bel아즈의 규칙과 전체 확률의 법칙을 Bel아즈의 규칙 및 전체 확률의 법칙을 Bel아즈의 규칙과 전체 확률의 법칙을 중심 도구로써 Bel아즈의 규칙과 전체 확률의 법칙을 중심 도구로써Bel아즈의 규칙과 전체 확률의 법칙을 중심 도구로 업데이트 신념.
• 가우시안 프로세스, 칼만 필터, 베이지안 신경망 등 확률 모델과 그 추론 방법을 다룬다.
• 변분 추론, 라플라스 근사, MCMC 등 근사 추론 기법과 그 실용적 무역-off를 논의한다.
• 활동적 학습, 베이지안 최적화, 강화 학습에서 불확실성이 탐색을 어떻게 이끄는지 설명한다.
• 에피스테믹/알레이터릭 불확실성을 활용하여 탐색과 안전성에 기여하는 모델 기반 RL 프레임워크를 제시한다.

실험 결과

연구 질문

• RQ1 확률적 추론을 자원 제약 하에서 효율적으로 수행하려면 어떻게 해야 하는가?
• RQ2 에피스테믹 및 알레이터릭 불확실성을 학습 및 의사결정에서 어떻게 모델링하고 활용해야 하는가?
• RQ3 불확실성 하에서의 순차 의사결정 작업(활동적 학습, 베이지안 최적화, RL)에 효과적인 확률적 접근 방법은 무엇인가?
• RQ4 현대 심층학습 및 모델 기반 방법은 탐색 및 안전성 향상을 위해 불확실성을 어떻게 통합하는가?

주요 결과

• 확률적 ML 및 순차 의사결정에 대한 구조화된 기초를 하나의 대학원 수준 자원에서 제공한다.
• 에피스테믹 불확실성과 알레이터릭 불확실성 사이의 차이점과 학습 과제에서 이들이 어떻게 발생하는지 명확히 한다.
• 베이지안 및 확률 모델링 도구(Bayesian linear regression, Gaussian processes, Bayesian neural networks)와 그 추론 방법을 정리한다.
• Calibrations, variational inference, MCMC, gradient-based sampling 등을 포함한 실용적 확률 추론 가능하도록 한다.
• 활동적 학습, 베이지안 최적화, 모델 기반 RL을 데이터를 수집하고 의사결정의 불확실성을 관리하는 전략으로 다룬다.
• 확률적 추론 기술을 강화하는 연습문제와 풀이를 포함하여 확률적 추론 및 추론 기술을 강화한다.