[논문 리뷰] On the Complexity of Adversarial Decision Making

Dylan J. Foster, Alexander Rakhlin외 2명|arXiv (Cornell University)|2022. 06. 27.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 결정-추정 계수(DEC)가 모델 클래스의 볼록껍질에 적용될 때, 구조적 밴딧과 적대적 역동성을 가진 강화학습을 포함한 적대적 결정보정에서 낮은 회귀를 달성하는 데 필수적이고도 충분한 조건임을 입증한다. 핵심 결과는 모델 클래스의 볼록화가 적대적 환경에서 강건성의 통계적 가격을 결정한다는 것이다.

ABSTRACT

A central problem in online learning and decision making -- from bandits to reinforcement learning -- is to understand what modeling assumptions lead to sample-efficient learning guarantees. We consider a general adversarial decision making framework that encompasses (structured) bandit problems with adversarial rewards and reinforcement learning problems with adversarial dynamics. Our main result is to show -- via new upper and lower bounds -- that the Decision-Estimation Coefficient, a complexity measure introduced by Foster et al. in the stochastic counterpart to our setting, is necessary and sufficient to obtain low regret for adversarial decision making. However, compared to the stochastic setting, one must apply the Decision-Estimation Coefficient to the convex hull of the class of models (or, hypotheses) under consideration. This establishes that the price of accommodating adversarial rewards or dynamics is governed by the behavior of the model class under convexification, and recovers a number of existing results -- both positive and negative. En route to obtaining these guarantees, we provide new structural results that connect the Decision-Estimation Coefficient to variants of other well-known complexity measures, including the Information Ratio of Russo and Van Roy and the Exploration-by-Optimization objective of Lattimore and György.

연구 동기 및 목표

• 적대적 결정보정 설정에서 샘플 효율적인 학습이 가능한 구조적 조건을 규명하기 위해.
• 특히 강화학습과 구조적 밴딧에서의 적대적 보상과 역동성 하에서 온라인 학습의 통계적 복잡도를 이해하기 위해.
• 스토케스틱과 적대적 결정보정 간 격차를 메우기 위해, 회귀 최소화를 위한 필수적이고도 충분한 조건을 규명하기 위해.
• DEC와 정보 비율 및 최적화를 통한 탐색과 같은 다른 복잡도 측정기준 간의 공식적 연결을 수립하기 위해.
• 모델 클래스의 볼록껍질에 따라 의존하는 날카운 감소 및 상한 회귀 경계를 제공하여, 적대적 환경에서의 강건성의 가격을 드러내기 위해.

제안 방법

• 모델이 적대자에 의해 적응적으로 선택되는 구조적 관측이 있는 결정보정(DMSO) 프레임워크의 적대적 변형을 도입한다.
• 적대적 설정을 위한 결정-추정 계수(DEC)를 정의하고, 그 볼록화된 형태가 회귀 경계를 지배함을 증명한다.
• 새로운 구조적 분석을 적용하여, 모델 클래스의 볼록껍질 내에서의 DEC가 낮은 회귀를 위한 필수적이고도 충분한 조건임을 보여준다.
• 볼록화된 DEC와 기존 복잡도 측정기준 간의 연결을 수립한다: 정보 비율(Russo & Van Roy, 2018)과 최적화를 통한 탐색 목표(Lattimore & György, 2021).
• 감소 기반 추론을 통해, 볼록화된 구조를 분석함으로써 MDP의 가족을 구성하고, 그 행동을 분석함으로써 회귀의 하한을 도출한다.
• 미니맥스 추론과 정교하게 설계된 MDP의 변형을 활용하여, 상태 수와 행동 수에 비례하는 DEC에 대한 하한을 유도한다.

실험 결과

연구 질문

• RQ1 적대적 결정보정에서 최소화 회귀를 결정짓는 모델 클래스의 구조적 성질은 무엇인가?
• RQ2 결정-추정 계수(DEC)는 적대적 설정에서 낮은 회귀를 달성하기 위해 충분하고 필수적인가?
• RQ3 모델 클래스의 볼록화가 적대적 결정보정의 복잡도에 어떤 영향을 미치는가?
• RQ4 DEC와 정보 비율 및 최적화를 통한 탐색과 같은 기존 알려진 복잡도 측정기준 간의 관계는 무엇인가?
• RQ5 볼록화된 DEC를 사용하여 적대적 강화학습과 구조적 밴딧에 대해 날카운 회귀 경계를 도출할 수 있는가?

주요 결과

• 볼록화된 결정-추정 계수(DEC)는 적대적 결정보정에서 낮은 회귀를 달성하기 위해 필수적이고도 충분하다.
• 합리적인 尾행동을 가지는 모든 알고리즘에 대해, 최적의 회귀는 볼록화된 DEC의 국소화된 형태에 의해 하한이 제시된다.
• 논문은 볼록화된 DEC에 비례하는 회귀 상한 경계를 수립하여 그 충분성을 증명한다.
• 하한 경계 구성은 모델 클래스의 볼록껍질 내에서의 DEC가 근본적인 복잡도 측정기준임을 보여주며, 표본 MDP의 경우 하한이 $ \frac{A^{\text{min}\{S-1,H,K\}}}{24\gamma} $ 임을 입증한다.
• 결과는 적대적 밴딧과 강화학습 분야에서 기존의 다양한 긍정적 및 부정적 결과들을 복원하고 통합한다.
• 분석은 적대적 환경에서의 강건성의 가격이 모델 클래스의 볼록화 행동에 의해 결정됨을 드러낸다.