[논문 리뷰] Active Reinforcement Learning: Observing Rewards at a Cost

David Krueger, Jan Leike외 2명|arXiv (Cornell University)|2020. 11. 13.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 12

한 줄 요약

이 논문은 에이전트가 보상 관찰을 위해 비용을 지불하는 활동적 강화학습(ARL)을 소개한다. 보상 관찰 비용과 장기적 보상 수익 간의 균형을 이루기 위해 히우리스틱 알고리즘을 제안한다. 복잡한 환경에서 가치정보(VOI) 및 적응형 샘플링과 쿼리 회피도(ASQR) 방법이 기준선을 능가함을 보여주며, 특히 보상 관찰 비용이 높은 환경에서 상태-행동 쌍을 지능적으로 선택함으로써 성능을 향상시킨다.

ABSTRACT

Active reinforcement learning (ARL) is a variant on reinforcement learning where the agent does not observe the reward unless it chooses to pay a query cost c > 0. The central question of ARL is how to quantify the long-term value of reward information. Even in multi-armed bandits, computing the value of this information is intractable and we have to rely on heuristics. We propose and evaluate several heuristic approaches for ARL in multi-armed bandits and (tabular) Markov decision processes, and discuss and illustrate some challenging aspects of the ARL problem.

연구 동기 및 목표

• 인간이 제공하는 보상이 비용이 많이 들거나 시간이 오래 걸리는 복잡한 과제에서 보상 함수 설계의 과제를 해결하기 위해.
• 보상 관찰에 고정된 비용이 수반되는 강화학습을 모델링하여, 에이전트가 언제 쿼리할지를 전략적으로 결정하도록 유도하기 위해.
• 다중 권한 밴드잇과 표기형 MDP에서 즉각적인 쿼리 비용과 장기적 정보 가치 간의 균형을 이루는 히우리스틱 전략을 탐색하기 위해.
• 다양한 쿼리 비용 수준에서 다양한 쿼리 전략이 학습 효율성과 누적 수익에 어떤 영향을 미치는지 평가하기 위해.
• 필수적이거나 정보가 부족한 상태가 존재하는 환경에서 쿼리 빈도, 시기, 정책 성능 간의 상호 교환 관계를 조사하기 위해.

제안 방법

• 에이전트는 행동을 선택하고, 다음 타임스텝에서 보상을 관찰하기 위해 고정된 비용 c > 0을 지불할지 여부를 결정한다.
• 장기적 이점을 추정하기 위해 가치정보(VOI) 및 적응형 샘플링과 쿼리 회피도(ASQR)와 같은 히우리스틱 알고리즘을 제안한다.
• 보상에 대한 정규 사전분포를 사용하고, 각 쿼리 후에 사후 평균을 업데이트하여 향후 가치의 기대치를 추정한다.
• 모델 기반 ARL에서 쿼리 결정을 안내하기 위해 샘플된 환경에서 몬테카를로 롤아웃을 수행하여 기대 수익을 추정한다.
• VOI 알고리즘에서 k=1을 사용하여 상태-행동 쌍의 쿼리로 인한 기대 정보 수익을 근사한다.
• 미리 알려진 환경 동역학 모델을 사용하여 미래 궤적을 시뮬레이션하고, 쿼리가 정책 향상에 미치는 영향을 추정한다.

실험 결과

연구 질문

• RQ1 보상 관찰에 비용이 수반될 경우, 에이전트는 장기적 보상 정보의 가치를 어떻게 정량화할 수 있는가?
• RQ2 특히 필수적이거나 정보가 부족한 상태가 존재하는 환경에서, ARL에서 효율적인 탐색과 쿼리 전략을 위한 히우리스틱 전략은 무엇인가?
• RQ3 쿼리 비용 수준(낮음 vs. 높음)이 ARL 에이전트의 성능과 쿼리 행동에 어떤 영향을 미치는가?
• RQ4 VOI 기반 전략은 '긴 Y' MDP와 같은 복잡한 환경에서 균일하거나 고정된 쿼리 정책을 능가할 수 있는가?
• RQ5 에이전트의 보상에 대한 사전 믿음이 쿼리 전략과 전체 학습 성능에 어떤 영향을 미치는가?

주요 결과

• VOI 기반 알고리즘이 '긴 Y' 환경에서 불필요하고 정보가 부족한 상태에서의 쿼리를 피함으로써 다른 알고리즘을 능가했다.
• 체인 환경에서 ASQR 기반 알고리즘이 VOI보다 더 높은 수익을 달성하여, 순차적이고 높은 불확실성을 가진 과제에 더 잘 적응함을 시사한다.
• 모든 상태-행동 쌍을 최대 25회까지 쿼리하는 기준 전략은 전체적으로 성능이 열악했으며, 특히 높은 쿼리 비용에서 과도한 쿼리로 인해 악영향을 받았다.
• 높은 쿼리 비용(c=10)에서 체인 환경에서 쿼리하지 않는 것이 놀랍게도 잘 성과를 냈는데, 이는 에이전트의 낙관적인 사전 믿음과 과제의 난이도 때문이었다.
• VOI 알고리즘은 초기 에피소드에서 쿼리 빈도가 낮아져서 비효율적이었으며, 이는 신뢰구간이나 더 많은 환경 샘플링을 통한 조기 쿼리 유도 전략이 필요함을 시사한다.
• 실험 결과, 제한된 실험을 바탕으로 하더라도 온라인이고 적응형 쿼리 전략이 고정되거나 균일한 쿼리 전략보다 성능을 크게 향상시킴을 보여주었다.