[논문 리뷰] The Statistical Complexity of Interactive Decision Making

Dylan J. Foster, Sham M. Kakade외 2명|arXiv (Cornell University)|2021. 12. 27.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 표본 효율적인 상호작용적 의사결정의 통계적 한계를 특징짓는 기본적인 복잡도 측도로 결론-추정 계수(DEC)를 도입한다. 또한 모든 지도 학습 추정 알고리즘을 온라인 의사결정 정책으로 변환하는 Estimation-to-Decisions (E2D) 메타알고리즘을 제안하며, DEC 하한선과 일치하는 손실 한계를 달성함으로써, 밴드잇, 강화학습, 구조화된 의사결정 문제에서의 학습을 통합하고 최적화한다.

ABSTRACT

A fundamental challenge in interactive learning and decision making, ranging from bandit problems to reinforcement learning, is to provide sample-efficient, adaptive learning algorithms that achieve near-optimal regret. This question is analogous to the classical problem of optimal (supervised) statistical learning, where there are well-known complexity measures (e.g., VC dimension and Rademacher complexity) that govern the statistical complexity of learning. However, characterizing the statistical complexity of interactive learning is substantially more challenging due to the adaptive nature of the problem. The main result of this work provides a complexity measure, the Decision-Estimation Coefficient, that is proven to be both necessary and sufficient for sample-efficient interactive learning. In particular, we provide: 1. a lower bound on the optimal regret for any interactive decision making problem, establishing the Decision-Estimation Coefficient as a fundamental limit. 2. a unified algorithm design principle, Estimation-to-Decisions (E2D), which transforms any algorithm for supervised estimation into an online algorithm for decision making. E2D attains a regret bound that matches our lower bound up to dependence on a notion of estimation performance, thereby achieving optimal sample-efficient learning as characterized by the Decision-Estimation Coefficient. Taken together, these results constitute a theory of learnability for interactive decision making. When applied to reinforcement learning settings, the Decision-Estimation Coefficient recovers essentially all existing hardness results and lower bounds. More broadly, the approach can be viewed as a decision-theoretic analogue of the classical Le Cam theory of statistical estimation; it also unifies a number of existing approaches -- both Bayesian and frequentist.

연구 동기 및 목표

• 적응적이고 순차적인 피드백 하에서 상호작용적 의사결정의 학습 가능성에 대한 통합 이론을 수립하기 위해.
• 표본 효율적인 학습을 위한 필수적이고도 충분한 복잡도 측도를 규명하기 위해.
• 지도 학습에서 레캠 이론과 유사하게 통계적 추정 이론과 상호작용적 의사결정 간 격차를 메우기 위해.
• 단일 복잡도 프레임워크를 통해 온라인 의사결정에서 베이지안과 빈도주의 접근을 통합하기 위해.

제안 방법

• 상호작용적 의사결정 문제의 내재적 어려움을 측정하는 새로운 복잡도 측도로 결론-추정 계수(DEC)를 제안한다.
• 모든 온라인 추정 오라클을 의사결정 정책으로 매핑하는 Estimation-to-Decisions (E2D) 메타알고리즘을 도입한다.
• E2D의 손실 상한선을 도출하며, 이는 DEC로 특징지어진 하한선과 일치함을 보여 최적성(추정 오차까지)을 입증한다.
• 이중적 시각과 정보이론적 도구를 사용하여 E2D를 사후 표본 추출과 낙관적 추정과 연결한다.
• 프레임워크를 밴드잇과 강화학습에 적용하여 기존의 곤경 결과를 복원하고, 구조화된 함수 클래스로 확장한다.
• 맥락 기반 및 모델 프리 설정으로의 접근을 일반화하여 더 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 상호작용적 의사결정의 기본 통계적 복잡도는 무엇이며, 어떻게 형식적으로 특징지을 수 있는가?
• RQ2 단일 알고리즘 원리가 다양한 상호작용적 의사결정 문제에서 최적의 학습을 통합할 수 있는가?
• RQ3 DEC는 VC 차원, 벨먼 랭크, 또는 엘루더 차원과 같은 기존 복잡도 측도와 어떻게 관련이 있는가?
• RQ4 E2D 프레임워크가 강화학습과 밴드잇 문제에서 최적의 손실을 얼마나 잘 달성할 수 있는가?
• RQ5 DEC는 일반적인 상호작용 학습 설정에서 최적 손실의 하한선으로 기능할 수 있는가?

주요 결과

• 결론-추정 계수(DEC)는 표본 효율적인 상호작용 학습을 위한 필수적이고도 충분한 조건으로 입증되었다.
• E2D 메타알고리즘이 추정 오차까지 DEC 하한선과 일치하는 손실 한계를 달성함으로써 최적성이 입증되었다.
• 표본 강화학습에서는 DEC가 기존의 하한선과 곤경 결과를 복원하며, 벨먼 랭크와 엘루더 차원 기반 결과도 포함한다.
• 프레임워크는 베이지안과 빈도주의 접근을 통합하며, 사후 표본 추출과 낙관적 추정과의 연결 고리를 제공한다.
• DEC는 기존 복잡도 측도를 일반화하며, 통계적 추정 이론의 레캠 이론에 대응하는 의사결정 이론적 해석을 제공한다.
• 후속 연구들은 DEC의 일반성을 확인하며, PAC 의사결정, 적대적 결과, 다중 에이전트 시스템으로의 확장을 포함한다.