[논문 리뷰] CAQL: Continuous Action Q-Learning

Moonkyung Ryu, Yinlam Chow외 3명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 48인용 수 11

한 줄 요약

CAQL은 연속 행동 Q-학습에서 최적의 max-Q 문제를 해결하기 위해 혼합정수계획법(MIP)을 사용하는 새로운 연속 행동 Q-학습 방법을 제안한다. 이는 CEM나 GA와 같은 근사 기반 방법보다 더 나은 성능과 더 뛰어난 안정성을 보이며, 동적 내성도, 이중 필터링, 군집화, 정책 추론을 위한 동작 함수를 통해 학습 및 추론 속도 향상 기법을 결합함으로써, 고도로 제약된 연속 제어 환경에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reinforcement learning (RL) with value-based methods (e.g., Q-learning) has shown success in a variety of domains such as games and recommender systems (RSs). When the action space is finite, these algorithms implicitly finds a policy by learning the optimal value function, which are often very efficient. However, one major challenge of extending Q-learning to tackle continuous-action RL problems is that obtaining optimal Bellman backup requires solving a continuous action-maximization (max-Q) problem. While it is common to restrict the parameterization of the Q-function to be concave in actions to simplify the max-Q problem, such a restriction might lead to performance degradation. Alternatively, when the Q-function is parameterized with a generic feed-forward neural network (NN), the max-Q problem can be NP-hard. In this work, we propose the CAQL method which minimizes the Bellman residual using Q-learning with one of several plug-and-play action optimizers. In particular, leveraging the strides of optimization theories in deep NN, we show that max-Q problem can be solved optimally with mixed-integer programming (MIP)---when the Q-function has sufficient representation power, this MIP-based optimization induces better policies and is more robust than counterparts, e.g., CEM or GA, that approximate the max-Q solution. To speed up training of CAQL, we develop three techniques, namely (i) dynamic tolerance, (ii) dual filtering, and (iii) clustering. To speed up inference of CAQL, we introduce the action function that concurrently learns the optimal policy. To demonstrate the efficiency of CAQL we compare it with state-of-the-art RL algorithms on benchmark continuous control problems that have different degrees of action constraints and show that CAQL significantly outperforms policy-based methods in heavily constrained environments.

연구 동기 및 목표

• 연속 행동 공간에서 가치 기반 강화학습의 연속 행동 최대화(max-Q) 문제를 해결하는 데 도전한다.
• 일반적인 신경망 파rameterization에서의 볼록 함수 파arameterization의 한계와 NP-난해성 문제를 극복한다.
• 연속 제어 작업에서 정책 성능과 일반화 능력을 향상시키기 위해 최적의, 안정적인 max-Q 방법을 개발한다.
• 새로운 최적화 및 알고리즘 기법을 통해 연속 행동 Q-학습의 학습 및 추론 속도를 가속화한다.
• 제안된 방법이 고도로 제약된 연속 제어 벤치마크에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• CAQL은 최적의 해를 구하기 위해 max-Q 문제를 혼합정수계획법(MIP)으로 공식화함으로써, 깊이 신경망의 표현 능력을 활용한다.
• Bellman 잔차를 최소화하기 위해 MIP 기반 최적화를 사용하여 Q-학습 업데이트 중 최적의 행동 선택을 보장한다.
• 동적 내성도를 도입하여 허용 오차 범위 내의 근사 해를 허용함으로써 MIP 해법 시간을 줄인다.
• 유사한 상태를 필터링하고 그룹화함으로써 학습 중 MIP 해법 횟수를 줄이기 위해 이중 필터링 및 군집화 기법을 적용한다.
• Q-네트워크와 동시에 학습되는 동작 함수를 도입하여, 배포 시 MIP 재해법이 필요 없이 빠른 추론을 가능하게 한다.
• 이 방법은 플러그 앤 플레이 방식이며, 어떤 Q-함수 아키텍처와도 호환되며 기존 강화학습 프레임워크에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 MIP 기반 최적화는 CEM이나 GA와 같은 히우리스틱 근사 방법보다 연속 행동 강화학습에서 max-Q 문제를 더 정확하고 안정적으로 해결할 수 있는가?
• RQ2 MIP를 max-Q에 적용하면 복잡한 행동 제약 조건이 존재하는 연속 제어 작업에서 더 나은 정책 성능을 달성할 수 있는가?
• RQ3 알고리즘적 속도 향상 기법을 통해 MIP 기반 최적화가 딥 강화학습의 실용적 학습에 충분히 효율적으로 적용될 수 있는가?
• RQ4 고도로 제약된 환경에서 CAQL은 최신 기술 수준의 정책 기반 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 정책 품질을 희생시키지 않고도 빠른 추론을 가능하게 하기 위해 동작 함수를 효과적으로 학습시킬 수 있는가?

주요 결과

• CAQL은 고도로 제약된 연속 제어 환경에서 정책 기반 방법보다 뚜렷이 뛰어난 성능을 보이며, 더 뛰어난 샘플 효율성과 최종 성능을 입증한다.
• MIP를 max-Q에 적용함으로써 CEM이나 GA와 같은 근사 기반 방법보다 더 안정적이고 고급 수준의 정책을 도출할 수 있다.
• 동적 내성도, 이중 필터링, 군집화 기법은 정책 품질에 영향을 주지 않으면서도 중복된 MIP 해법 횟수를 줄여 학습 시간을 단축시킨다.
• 학습된 동작 함수는 빠른 추론을 가능하게 하여, 운영 시 온라인 MIP 해법이 필요 없게 한다.
• CAQL은 특히 좁은 행동 제약 조건이 존재하는 벤치마크 연속 제어 작업에서 최신 기술 수준의 성능을 달성한다.
• 다양한 행동 제약 수준에서도 강력한 성능 유지를 보이며, 일반화 능력과 안정성을 입증한다.