[논문 리뷰] Direct Behavior Specification via Constrained Reinforcement Learning

Julien Roy, Roger Girgis외 3명|arXiv (Cornell University)|2021. 12. 22.

Advanced Software Engineering Methodologies인용 수 4

한 줄 요약

이 논문은 강화학습에서 전형적인 보상 설계의 시행착오 방식을 피하기 위해, 빈도 제약 조건을 통해 직접 에이전트 행동을 지정하는 제약 강화학습(CRL)과 라그랑주 방법을 제안한다. 이 방법은 복잡한 비디오 게임 유사 환경에서의 복수의 제약 조건을 고려할 수 있도록 확장 가능하고 안정적인 학습을 가능하게 하며, 철저한 초모수 조정 없이도 실현 가능하고 높은 성능을 보이는 정책을 달성한다.

ABSTRACT

The standard formulation of Reinforcement Learning lacks a practical way of specifying what are admissible and forbidden behaviors. Most often, practitioners go about the task of behavior specification by manually engineering the reward function, a counter-intuitive process that requires several iterations and is prone to reward hacking by the agent. In this work, we argue that constrained RL, which has almost exclusively been used for safe RL, also has the potential to significantly reduce the amount of work spent for reward specification in applied RL projects. To this end, we propose to specify behavioral preferences in the CMDP framework and to use Lagrangian methods to automatically weigh each of these behavioral constraints. Specifically, we investigate how CMDPs can be adapted to solve goal-based tasks while adhering to several constraints simultaneously. We evaluate this framework on a set of continuous control tasks relevant to the application of Reinforcement Learning for NPC design in video games.

연구 동기 및 목표

• 실세계 RL 응용에서 수동 보상 설계가 실현 가능하지 않다는 점을 해결하기 위해, 수동 보상 조정이 실수를 유발하고 초모수 조정이 많이 필요하다는 점을 고려한다.
• 제약 마코프 결정 과정(CMDP)이 RL에서 행동 선호도를 지정하는 데 더 직관적이고 확장 가능한 대안이 될 수 있음을 보여주기 위해.
• 주 과제 성능을 유지하면서 복수의 행동 제약 조건을 동시에 충족할 수 있는 안정적이고 확장 가능한 알고리즘을 개발하기 위해.
• 행동 충실도가 중요한 비디오 게임 NPC 설계를 모방한 현실적이고 복잡한 환경에서 프레임워크를 평가하기 위해.
• 다수의 제약 조건이 주 과제를 해결할 수 없게 만들 경우, 근본적인 정책을 피하기 위해 부트스트랩 제약 조건이 도움이 될 수 있음을 보여주기 위해.

제안 방법

• 특정 사건(예: 마커를 바라보기, 라바 피하기 등)의 빈도를 추적하는 지표 함수로 행동 선호도를 표현한다.
• 각 제약 조건이 사건 빈도에 대한 임계값을 가지는 CMDP 프레임워크에 이러한 행동 목표를 제약 조건으로 통합한다.
• 학습 안정화와 제약 조건 이행 균형을 위해 다중수정자 정규화를 사용한 라그랑주 완화 접근법을 적용한다.
• SAC(Soft Actor-Critic)를 라그랑주 승수와 함께 수정하여 주 과제 보상과 제약 조건 페널티를 동시에 최적화한다.
• 학습 초반에 타당한 정책으로 향도를 안내하기 위해 부트스트랩 성공 제약 조건을 도입한다.
• 제어된 아레나 환경과 동적 지형 및 상호작용 가능한 물체를 갖춘 복잡한 오픈월드 환경에서 에이전트를 학습시킨다.

실험 결과

연구 질문

• RQ1 특정 사건의 빈도 기반 임계값으로 표현된 행동 제약 조건이 보상 설계 없이도 에이전트 행동을 효과적으로 형상화하는 데 유용한가?
• RQ2 복수의 제약 조건을 동시에 적용했을 때, CRL의 성능이 전통적인 보상 설계와 비교해 어떻게 되는가?
• RQ3 다중수정자 정규화를 적용한 라그랑주 CRL이 많은 제약 조건을 이행할 때 학습 안정성과 수렴성을 향상시키는가?
• RQ4 부트스트랩 성공 제약 조건을 사용하면, 단순히 제약 조건을 만족하는 정책을 피하고 더 나은 주 과제 성능을 달성하는 데 도움이 되는가?
• RQ5 제안된 프레임워크는 비디오 게임 NPC 행동을 모방한 복잡하고 현실적인 환경으로까지 확장 가능한가?

주요 결과

• 보상 설계에 대해 초모수 검색이 매우 복잡했으며, 두 개의 제약 조건이 있는 49개의 실험 중 뿐다 2개만 타당하고 성능이 좋은 정책을 도출했고, 세 개의 제약 조건이 있는 343개의 실험에서는 아무것도 성공하지 못했다.
• 라그랑주 승수와 정규화를 적용한 제안된 CRL 프레임워크는 아레나 환경에서 복수의 제약 조건이 존재하더라도 모든 제약 조건을 성공적으로 충족하면서 탐색 과제를 해결했다.
• 오픈월드 환경에서는 최대 5000만 개의 학습 스텝을 거쳐 네 가지 행동 제약 조건(지면 위, 라바 밖, 마커를 바라보기, 에너지 한도 초과 이하)을 충족하면서 탐색 과제를 성공적으로 완수했으며, 이는 확장성을 입증한다.
• 부트스트랩 성공 제약 조건을 도입함으로써 에이전트가 타당하고 높은 성능을 내는 해법으로 향도를 제대로 안내받아, 단순히 제약 조건만 충족하는 정책을 피하는 데 큰 도움이 되었다.
• 이 방법은 환경 간에 안정적인 학습과 일관된 제약 조건 이행을 달성했으며, 신뢰성과 설계 효율성 측면에서 보상 설계를 능가했다.
• 기존의 정책 기반 강화학습 코드베이스에 쉽게 구현 가능하며, 게임 AI 및 그 외 산업용 RL 응용 분야에서 강력한 잠재력을 보이고 있다.