[論文レビュー] Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems

Fabio Massimo Zennaro, Audun Jøsang|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 10被引用数 6

ひとこと要約

本稿では、多腕バンディット問題における認識的不確実性とアレアトリック不確実性を区別して推定するための主観的論理バンディット（SLB）アルゴリズムを提案する。ディリクレ-多項分布の共役事前分布を用いて信念の更新をモデル化することで、解釈可能な不確実性の追跡が可能となり、不確実性のダイナミクスが学習効率を導き、探索がもはや情報効率的でなくなるタイミングを明らかにする。

ABSTRACT

The multi-armed bandit problem is a classical decision-making problem where an agent has to learn an optimal action balancing exploration and exploitation. Properly managing this trade-off requires a correct assessment of uncertainty; in multi-armed bandits, as in other machine learning applications, it is important to distinguish between stochasticity that is inherent to the system (aleatoric uncertainty) and stochasticity that derives from the limited knowledge of the agent (epistemic uncertainty). In this paper we consider the formalism of subjective logic, a concise and expressive framework to express Dirichlet-multinomial models as subjective opinions, and we apply it to the problem of multi-armed bandits. We propose new algorithms grounded in subjective logic to tackle the multi-armed bandit problem, we compare them against classical algorithms from the literature, and we analyze the insights they provide in evaluating the dynamics of uncertainty. Our preliminary results suggest that subjective logic quantities enable useful assessment of uncertainty that may be exploited by more refined agents.

研究の動機と目的

• 多腕バンディット問題における認識的不確実性（知識に基づくもの）とアレアトリック不確実性（システム固有のもの）を区別する課題に対処すること。
• 強化学習における直感的で解釈可能な不確実性表現を可能にする主観的論理を活用した意思決定フレームワークの構築。
• 主観的論理に基づくエージェントが、行動の意思決定に役立つ洞察を提供しつつも、競争力のある性能を達成できるかどうかを評価すること。
• 不確実性の進化、特に認識的不確実性とアレアトリック不確実性の成分が、学習の進行と性能の飽和とどのように相関するかを分析すること。

提案手法

• 著者らは、多腕バンディット問題を主観的論理を用いてモデル化し、報酬の信念を、信念、ベースレート、不確実性の成分を有する多項的意見として表現する。
• 主観的論理により、観測された報酬に基づいて信念を更新するためのディリクレ-多項分布の共役事前分布を用いることができ、不確実性のコン pact かつ解釈可能な表現を維持できる。
• SLBアルゴリズムは意見の期待値に基づいて行動を選択し、探索は意見の不確実性成分によってガイドされる。
• 本手法は、限られた証拠による認識的不確実性（epistemic uncertainty）と、本質的な確率的ばらつきによるアレアトリック不確実性（aleatoric uncertainty）の両方を追跡し、合計不確実性を両者の合計として定義する。
• 行動選択と更新には、標準確率分布からのサンプリングと、証拠に基づくディリクレ確率密度関数を用いる。
• 性能は、報酬分散と行動数の異なる複数のシナリオにおいて、古典的手法（例：ε-greedy、UCB）と比較して評価される。

実験結果

リサーチクエスチョン

• RQ1 主観的論理は、多腕バンディット問題における認識的不確実性とアレアトリック不確実性の推定および区別に効果的に用いられるか？
• RQ2 認識的不確実性とアレアトリック不確実性のダイナミクスは、異なるバンディット設定における学習パフォーマンスと収束とどのように相関するか？
• RQ3 主観的論理から導かれる不確実性推定は、探索をやめるタイミングや、利用に移るタイミングを決定するのにどの程度役立つか？
• RQ4 報酬分布の構造（例：分散、行動数）は、SLBフレームワークにおける不確実性低減の速度にどのように影響するか？
• RQ5 主観的論理に基づくエージェントは、古典的手法よりも解釈性と行動可能性の高い不確実性の洞察を提供しつつも、競争力のあるパフォーマンスを達成できるか？

主な発見

• SLBアルゴリズムは、ε-greedy や UCB などの古典的手法と比較して、競争力のあるパフォーマンスを示した。特に報酬分散が低いシナリオで顕著であった。
• 少ない行動数のシナリオ（例：シナリオ2）では、制限された行動空間のため、情報量の多いサンプルが頻繁に得られ、認識的不確実性が急速に低下した。
• 高分散設定（例：シナリオ4）では、認識的不確実性が急激に低下したが、これは情報量の多い証拠によるものではなく、まれな高報酬の外れ値によるものであり、不確実性の低下が誤解を招く可能性があることを示唆している。
• シナリオ3では、合計不確実性が非常に低くまで低下し、システムの内在的なランダムネス（アレアトリック不確実性）が低いことを示しており、明確な最適行動が特定可能であることに一致していた。
• シナリオ2では、合計不確実性が早期に平坦化したが、認識的不確実性は減少を続けていた。これは、アレアトリック不確実性が依然として高いことを示しており、最適行動を特定する根本的な限界があることを示唆している。
• 不確実性の進化、特に認識的不確実性の低下は、学習の飽和状態を示す代理指標として機能し、さらなる探索が限界効果をもたらさないタイミングを示すことができる。