[논문 리뷰] Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act

Alexis Jacq, Johan Ferret외 2명|arXiv (Cornell University)|2022. 03. 16.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 표준 MDP를 '지연' 동작을 추가하여 확장함으로써 결정 연기 및 최소 제어를 장려하는 새로운 강화학습 형식인 레이지-MDP를 제안한다. 이 방법은 에이전트가 언제 어떻게 행동할지를 학습하게 하여 해석 가능한 정책을 도출하며, 특히 어려운 탐색 과제에서 경쟁적 또는 향상된 성능을 달성하면서도 상태의 극히 소수만 제어함으로써 효율성을 확보한다.

ABSTRACT

Traditionally, Reinforcement Learning (RL) aims at deciding how to act optimally for an artificial agent. We argue that deciding when to act is equally important. As humans, we drift from default, instinctive or memorized behaviors to focused, thought-out behaviors when required by the situation. To enhance RL agents with this aptitude, we propose to augment the standard Markov Decision Process and make a new mode of action available: being lazy, which defers decision-making to a default policy. In addition, we penalize non-lazy actions in order to encourage minimal effort and have agents focus on critical decisions only. We name the resulting formalism lazy-MDPs. We study the theoretical properties of lazy-MDPs, expressing value functions and characterizing optimal solutions. Then we empirically demonstrate that policies learned in lazy-MDPs generally come with a form of interpretability: by construction, they show us the states where the agent takes control over the default policy. We deem those states and corresponding actions important since they explain the difference in performance between the default and the new, lazy policy. With suboptimal policies as default (pretrained or random), we observe that agents are able to get competitive performance in Atari games while only taking control in a limited subset of states.

연구 동기 및 목표

• 기존 강화학습이 '어떻게 행동할 것인가'에만 집중하는 한계를 해결하기 위해, '언제 행동할 것인가'를 고려하는 새로운 패러다임을 도입하기 위해.
• 에이전트가 기본 정책에서 벗어나는 상태를 식별함으로써 강화학습의 해석 가능성 향상을 위해.
• 부적절하거나 미리 학습된 정책 위에 레이지-MDP를 기반으로 효율적인 학습을 가능하게 하기 위해, 이들의 희소 제어를 학습하기 위해.
• 레이지-MDP의 이론적 성질, 즉 가치 함수와 최적성 조건을 연구하기 위해.
• 레이지-MDP가 해석 가능하고 효과적인 정책을 도출함을 경험적으로 검증하기 위해, 특히 희소 보상 환경에서 성능을 확보하기 위해.

제안 방법

• 표준 MDP의 행동 공간을 '레이지' 동작을 추가하여 확장함으로써, 결정을 기본 정책에 위임하도록 한다.
• 비레이지 동작에 대한 보상 함수를 수정함으로써 (하이퍼파라미터 η를 통해), 제어 주파수를 최소화하도록 유도한다.
• 레이지-MDP의 가치 함수와 최적성 조건을 수립하고, 최적 정책이 기본 정책과 제어 페널티에 의존함을 보여준다.
• 랜덤 또는 사전 학습된 열악한 정책을 기본 정책으로 사용하여 레이지-MDP 프레임워크 내에서 DQN 에이전트를 학습시킨다.
• 학습된 정책과 기본 정책 간의 상태별 차이를 활용하여 어떤 상태에서 활동적 제어가 필요한지 해석한다.
• 인간 정규화된 중앙값 점수와 제어 빈도 지표를 사용하여 아케이드 게임에서 표준 DQN 및 웜리스타트 기반 방법과 비교해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 행동의 '방법'뿐 아니라 행동의 '시점'을 학습하는 형식이 더 해석 가능하고 효과적인 강화학습 정책을 도출할 수 있는가?
• RQ2 제어 빈도가 밀도 높은 및 희소 보상 환경 모두에서 성능에 미치는 영향은 어떠한가?
• RQ3 사전 학습된 정책을 기본 정책으로 사용할 때, 레이지-MDP에서의 학습이 표준 학습 또는 웜리스타트보다 우월한가?
• RQ4 희소 보상 과제에서 활동적 제어 의존도를 줄임으로써 레이지-MDP가 탐색 성능을 얼마나 향상시킬 수 있는가?
• RQ5 레이지-MDP의 이론적 성질, 예를 들어 가치 함수와 최적성 조건이 기본 정책과 제어 페널티에 따라 어떻게 달라지는가?

주요 결과

• 레이지-MDP에서 학습된 정책는 Frostbite에서 DQN 기준 점수의 최대 200%를 기록했으며, 제어를 가한 상태는 10% 미만이었고, 이는 탐색 성능 향상을 보여준다.
• Gravitar에서는 제어 빈도가 10% 미만이었음에도 불구하고 DQN 점수의 거의 100%를 유지하여 낮은 간섭 빈도에서도 안정성을 입증했다.
• 기본 정책으로 50% 성능을 보이는 열악한 DQN 에이전트를 사용했을 때, 레이지-MDP는 웜리스타트보다 더 빠르고 안정적인 학습을 이끌었으며, 최종 성능에는 향상이 없었지만 샘플 효율성이 뛰어났다.
• 제어 페널티 η를 게임별로 최적화했을 때, 레이지-MDP는 초기 학습보다도 뚜렷한 성능 향상을 보였고, 이는 하이퍼파라미터 민감도가 높은 잠재력을 지닌다는 것을 시사한다.
• 이 방법은 해석 가능한 정책을 생성하여 제어가 필요한 핵심 상태를 강조함으로써, 사후 해석 기법 없이도 작업의 구조적 특성을 이해하는 데 기여한다.
• Zaxxon과 PrivateEye에서는 각각 DQN 기준 점수의 80% 이상, 100%를 기록했으며, 제어 빈도는 30% 미만이었고, 이는 희소 보상 환경에서의 효과성을 확인한다.