[논문 리뷰] Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems

Fabio Massimo Zennaro, Audun Jøsang|arXiv (Cornell University)|2020. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 6

한 줄 요약

이 논문은 다중 암반 밴딧 문제에서 지식 기반의 지식적 불확실성과 시스템 고유의 난류적 불확실성을 추정하고 구분하는 데 주관적 논리(subjective logic)를 사용하는 주관적 논리 밴딧(SLB) 알고리즘을 제안한다. 딜레르트-다항분포 쌍대 사전을 통해 신뢰도 갱신을 모델링함으로써 SLB는 해석 가능한 불확실성 추적을 가능하게 하며, 불확실성의 역학이 학습 효율성을 이끄는 데 기여하고 탐색이 더 이상 정보를 제공하지 않을 때를 드러내는 데 기여한다.

ABSTRACT

The multi-armed bandit problem is a classical decision-making problem where an agent has to learn an optimal action balancing exploration and exploitation. Properly managing this trade-off requires a correct assessment of uncertainty; in multi-armed bandits, as in other machine learning applications, it is important to distinguish between stochasticity that is inherent to the system (aleatoric uncertainty) and stochasticity that derives from the limited knowledge of the agent (epistemic uncertainty). In this paper we consider the formalism of subjective logic, a concise and expressive framework to express Dirichlet-multinomial models as subjective opinions, and we apply it to the problem of multi-armed bandits. We propose new algorithms grounded in subjective logic to tackle the multi-armed bandit problem, we compare them against classical algorithms from the literature, and we analyze the insights they provide in evaluating the dynamics of uncertainty. Our preliminary results suggest that subjective logic quantities enable useful assessment of uncertainty that may be exploited by more refined agents.

연구 동기 및 목표

• 다중 암반 밴딧 문제에서 지식 기반의 지식적 불확실성과 시스템 고유의 난류적 불확실성 간의 구분 문제를 해결하기 위해.
• 강화 학습에서 직관적이고 설명 가능한 불확실성 표현을 가능하게 하는 주관적 논리를 활용한 의사결정 프레임워크를 개발하기 위해.
• 주관적 논리 기반 에이전트가 경쟁 가능한 성능을 달성하면서도 학습 역학에 대한 실질적인 통찰을 제공할 수 있는지 평가하기 위해.
• 특히 지식적 불확실성과 난류적 불확실성 구성 요소의 변화가 학습 진전과 성능 포화와 어떻게 상관관계가 있는지 분석하기 위해.

제안 방법

• 저자들은 다중 암반 밴딧 문제를 주관적 논리로 모델링하여 행동 보상에 대한 신뢰도를 다항분포 의견으로 표현하며, 이는 신뢰도, 기초 비율, 불확실성 구성 요소를 포함한다.
• 주관적 논리는 관측된 보상 기반으로 신뢰도를 갱신하는 데 사용 가능한 딜레르트-다항분포 쌍대 사전을 가능하게 하며, 불확실성의 압축되고 해석 가능한 표현을 유지한다.
• SLB 알고리즘은 의견의 기대값을 기반으로 행동을 선택하며, 탐색은 의견의 불확실성 구성 요소에 의해 이끌린다.
• 이 방법은 지식 기반의 불확실성(제한된 증거로 인한 것)과 난류적 불확실성(내재된 확률적 특성)을 모두 추적하며, 총 불확실성은 이 두 구성 요소의 합으로 표현된다.
• 행동 선택과 갱신을 위해 표준 확률 분포에서의 샘플링과 증거 기반 딜레르트 확률 밀도 함수를 통합한다.
• 성능은 보상 분산과 행동 수가 다양한 시나리오에서 고전적 알고리즘(예: ε-그리디, UCB)과 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 주관적 논리는 다중 암반 밴딧 문제에서 지식적 불확실성과 난류적 불확실성을 효과적으로 추정하고 구분하는 데 사용될 수 있는가?
• RQ2 지식적 불확실성과 난류적 불확실성의 역학은 다양한 밴딧 설정에서 학습 성능과 수렴과 어떻게 상관관계가 있는가?
• RQ3 주관적 논리에서 유도된 불확실성 추정은 언제 탐색을 멈추고 언제 이용을 시작할지에 대한 의사결정을 얼마나 잘 이끌 수 있는가?
• RQ4 보상 분포의 구조(예: 분산, 행동 수)는 SLB 프레임워크에서 불확실성 감소 속도에 어떤 영향을 미치는가?
• RQ5 주관적 논리 기반 에이전트는 고전적 알고리즘보다 더 해석 가능하고 실질적인 불확실성 통찰을 제공하면서도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• SLB 알고리즘은 ε-그리디와 UCB와 같은 고전적 알고리즘과 비교해 경쟁 가능한 성능을 보였으며, 특히 보상 분산이 낮은 시나리오에서 두드러졌다.
• 작은 행동 수가 있는 시나리오(예: 시나리오 2)에서는 유의미한 샘플이 더 자주 수집되므로 지식적 불확실성이 빠르게 감소했다.
• 고분산 설정(예: 시나리오 4)에서는 유의미한 증거 때문이 아니라 드문 고보상 이상치로 인해 지식적 불확실성이 급격히 감소했으며, 이는 오해의 소지가 있는 불확실성 감소를 시사한다.
• 시나리오 3에서는 총 불확실성이 매우 낮은 수준으로 떨어졌으며, 이는 시스템의 내재된 무작위성이 낮고(낮은 난류적 불확실성), 명확한 최적 행동이 식별 가능함을 의미한다.
• 시나리오 2에서는 지식적 불확실성은 감소했지만 총 불확실성은 조기에 평준화되었으며, 이는 난류적 불확실성이 여전히 높다는 것을 시사하며, 최적 행동을 결정하는 데 근본적인 한계가 있음을 나타낸다.
• 특히 지식적 불확실성의 감소는 학습 포화의 지표로 사용될 수 있으며, 이는 추가 탐색이 수익성이 감소할 때를 알리는 신호가 된다.