[논문 리뷰] Reinforcement Learning, Bit by Bit

Xiuyuan Lu, Benjamin Van Roy외 4명|arXiv (Cornell University)|2021. 03. 06.

Advanced Bandit Algorithms Research참고 문헌 81인용 수 5

한 줄 요약

이 논문은 정보 지향 샘플링(Information Directed Sampling, IDS)을 제안하여 강화학습에서 데이터 효율성을 높이기 위해 정보 수확량과 기대 보상 간의 트레이드오프를 최적화하는 원칙적인 탐색 전략을 도입한다. 액션 가치의 불확실성을 추정하기 위해 앙상블 신경망을 사용하고, 기대 보상 당 정보 수확량을 최대화하는 행동을 선택함으로써, 특히 희박 보상 및 고차원 설정에서 에psilon-greedy와 톰슨 샘플링보다 뛰어난 성능을 달성한다.

ABSTRACT

Reinforcement learning agents have demonstrated remarkable achievements in simulated environments. Data efficiency poses an impediment to carrying this success over to real environments. The design of data-efficient agents calls for a deeper understanding of information acquisition and representation. We discuss concepts and regret analysis that together offer principled guidance. This line of thinking sheds light on questions of what information to seek, how to seek that information, and what information to retain. To illustrate concepts, we design simple agents that build on them and present computational results that highlight data efficiency.

연구 동기 및 목표

• 정보 수확량과 기대 보상 간의 균형을 고려한 원칙적인 탐색 전략을 개발하여 강화학습에서 데이터 효율성을 향상시키는 것.
• 학습 과정에서 어떤 정보를 구하고, 어떻게 구하며, 무엇을 유지할 것인지에 대한 이론적 지침을 제공하는 것.
• 데이터 수집이 비용이 많이 드는 실제 환경에서의 샘플 효율성을 향상시키는 것.
• 에psilon-greedy와 톰슨 샘플링과 같은 표준 탐색 전략보다 IDS가 어려운 강화학습 과제에서 뛰어난 성능을 보임을 입증하는 것.
• 손실 분석과 정보 이론 원리를 기반으로 데이터 효율적인 에이전트 설계를 위한 프레임워크를 수립하는 것.

제안 방법

• 기대 보상과 최적 행동에 대한 정보 수확량 간의 균형을 고려한 행동 선택 전략으로 정보 지향 샘플링(Information Directed Sampling, IDS)을 제안한다.
• 액션 가치의 사후 분포를 모델링하기 위해 신경망의 앙상블(ENN)을 사용하여 불확실성 추정을 가능하게 한다.
• 밴딧 및 가치 함수 설정에서 학습을 이끄는 데 사용하기 위해 관측된 결과와 예측된 결과 간의 교차 엔트로피 기반 손실 함수를 적용한다.
• ADAM을 사용한 확률적 경사 하강법과 미니배치 업데이트를 통해 ENN을 훈련하고, 정보 수확량 근사치에 기반해 행동을 선택한다.
• 앙상블 내 값 추정의 표본 분산을 사용해 정보 수확량을 근사하며, 단계당 $ n_{\text{IDS}} = 40 $개의 샘플을 사용한다.
• IDS를 딥 Q-네트워크와 밴딧 에이전트에 통합하여, 에psilon-greedy와 톰슨 샘플링과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 장기적 보상 최대화를 효율적으로 달성하기 위해 강화학습 에이전트는 어떤 정보를 추구해야 하는가?
• RQ2 탐색 과정에서 정보 확보 비용과 그 기대 수혜 간의 균형을 어떻게 유지해야 하는가?
• RQ3 순차적 의사결정 과정에서 정보를 어떻게 유지하고 갱신할 것인가?
• RQ4 IDS는 에psilon-greedy와 톰슨 샘플링에 비해 데이터 효율성과 샘플 복잡도 측면에서 어떻게 비교되는가?
• RQ5 정보 이론 원리가 딥 강화학습에서 증명 가능하게 더 나은 탐색 전략을 이끌 수 있는가?

주요 결과

• IDS는 희박 보상 환경에서 특히 두드러지게, 여러 bsuite 작업에서 에psilon-greedy와 톰슨 샘플링보다 뛰어난 데이터 효율성을 보였다.
• bsuite 벤치마크에서 IDS와 톰슨 샘플링은 유사한 전체 성능을 보였으며, 둘 다 탐색 집약적인 과제에서 에psilon-greedy를 크게 능가했다.
• 정보 수확량이 빠른 수렴에 핵심적인 역할을 하는 고차원적이고 희박한 밴딧 문제에서도 본 방법은 뛰어난 성능을 보였다.
• 앙상블 신경망의 사용은 효과적인 정보 지향 행동 선택을 위한 필수적인 정확한 불확실성 추정을 가능하게 했다.
• 실험 결과, IDS는 에psilon-greedy보다 노이즈에 덜 민감한 것으로 나타났지만, 스케일 변화에는 에psilon-g리디가 더 뛰어난 내성성을 보였다.
• 이론적 분석과 계산 결과는 IDS가 정보 수확량 대 기대 보상 비율을 최적화함으로써 손실을 최소화함을 확인했다.