[論文レビュー] Probabilistic Artificial Intelligence

Andreas Krause, Jonas Hübotter|ArXiv.org|Feb 7, 2025

Advanced Data Processing Techniques被引用数 4

ひとこと要約

この原稿は確率的AIへの大学院レベルの導入を提供し、確率的推論、不確実性の種類、およびベイズ法と現代のRLを用いた逐次意思決定を詳述します。

ABSTRACT

Artificial intelligence commonly refers to the science and engineering of artificial systems that can carry out tasks generally associated with requiring aspects of human intelligence, such as playing games, translating languages, and driving cars. In recent years, there have been exciting advances in learning-based, data-driven approaches towards AI, and machine learning and deep learning have enabled computer systems to perceive the world in unprecedented ways. Reinforcement learning has enabled breakthroughs in complex games such as Go and challenging robotics tasks such as quadrupedal locomotion. A key aspect of intelligence is to not only make predictions, but reason about the uncertainty in these predictions, and to consider this uncertainty when making decisions. This is what this manuscript on "Probabilistic Artificial Intelligence" is about. The first part covers probabilistic approaches to machine learning. We discuss the differentiation between "epistemic" uncertainty due to lack of data and "aleatoric" uncertainty, which is irreducible and stems, e.g., from noisy observations and outcomes. We discuss concrete approaches towards probabilistic inference and modern approaches to efficient approximate inference. The second part of the manuscript is about taking uncertainty into account in sequential decision tasks. We consider active learning and Bayesian optimization -- approaches that collect data by proposing experiments that are informative for reducing the epistemic uncertainty. We then consider reinforcement learning and modern deep RL approaches that use neural network function approximation. We close by discussing modern approaches in model-based RL, which harness epistemic and aleatoric uncertainty to guide exploration, while also reasoning about safety.

研究の動機と目的

• 不確実性の下でAIの基盤として確率論と確率的推論を導入する。
• エピステミックとアレーターリック不確実性を区別し、それらが学習と予測に与える影響を説明する。
• 確率的モデル（ベイズ線形回帰、ガウス過程、ベイズ型ニューラルネットワーク）と推論技術（VI、MCMC）を紹介する。
• アクティブラーニング、ベイズ最適化、そしてモデルトレーニングを含む強化学習を用いた不確実性の下での逐次意思決定を論じる。

提案手法

• BelRvの法則と全確率の法則を、信念を更新するための中心的な道具として説明する。
• 確率モデルとその推論手法（ガウス過程、カルマンフィルタ、ベイズ型ニューラルネットワーク）を網羅する。
• 近似推論手法（変分推論、ラプラス近似、MCMC）とそれらの実務的トレードオフを論じる。
• 不確実性がアクティブラーニング、ベイズ最適化、強化学習における探索をどのように導くかを説明する。
• エピステミック／アレータリック不確実性を探索と安全性のための探索に活用するモデルベースRLの枠組みを提示する。

実験結果

リサーチクエスチョン

• RQ1 リソース制約の下で確率的推論を効率的に実行するにはどうすればよいか？
• RQ2 学習と意思決定においてエピステミックとアレータリック不確実性をどのようにモデル化し活用すべきか？
• RQ3 不確実性の下での逐次意思決定タスク（アクティブラーニング、ベイズ最適化、RL）に対して、どの確率論的アプローチが有効か？
• RQ4 現代のディープラーニングとモデルベース手法は、探索と安全性を向上させるために不確実性をどのように組み込んでいるか？

主な発見

• 確率的機械学習と逐次意思決定のための統一的な基盤を卒業レベルのリソースとして提供する。
• エピステミックとアレータリック不確実性の区別と、それらが学習タスクでどのように生じるかを明確にする。
• ベイズ的・確率的モデリングツール（ベイズ線形回帰、ガウス過程、ベイズ型ニューラルネットワーク）とそれらの推論手法を概説する。
• 校正、変分推論、MCMC、勾配ベースのサンプリングを含む、実務的な確率推論を可能にする技法を扱う。
• アクティブラーニング、ベイズ最適化、モデルトレースRLを、情報量のあるデータを収集し意思決定の不確実性を管理する戦略として議論する。
• 確率的推論と推論技術を強化するための練習問題と解答を含む。