[논문 리뷰] Deep Constrained Q-learning

Gabriel Kalweit, Maria Huegle외 2명|arXiv (Cornell University)|2020. 03. 20.

Reinforcement Learning in Robotics참고 문헌 30인용 수 14

한 줄 요약

이 논문은 Q-업데이트 중에 액션 스페이스를 제한함으로써 직접적으로 하드 제약 조건을 강제하는 새로운 오프-폴리시 강화학습 프레임워크인 딥 컨스트레인드 Q-러닝(Deep Constrained Q-learning, CDQN)을 제안한다. 이는 최적이고 안전한 정책을 보장한다. 다단계 제약 조건을 위해 잘린 값 함수(truncated value-functions)를 도입함으로써 할인율에 종속되지 않는 제약 조건 설정이 가능해지며, 보상 형태 조정(reward shaping)과 라그랑주 방법에 비해 해석 가능성과 성능이 향상된다. 자율주행 작업에서 안전성, 승차감, 오른쪽 차선 유지 제약 조건을 구현한다.

ABSTRACT

In many real world applications, reinforcement learning agents have to optimize multiple objectives while following certain rules or satisfying a list of constraints. Classical methods based on reward shaping, i.e. a weighted combination of different objectives in the reward signal, or Lagrangian methods, including constraints in the loss function, have no guarantees that the agent satisfies the constraints at all points in time and can lead to undesired behavior. When a discrete policy is extracted from an action-value function, safe actions can be ensured by restricting the action space at maximization, but can lead to sub-optimal solutions among feasible alternatives. In this work, we propose Constrained Q-learning, a novel off-policy reinforcement learning framework restricting the action space directly in the Q-update to learn the optimal Q-function for the induced constrained MDP and the corresponding safe policy. In addition to single-step constraints referring only to the next action, we introduce a formulation for approximate multi-step constraints under the current target policy based on truncated value-functions. We analyze the advantages of Constrained Q-learning in the tabular case and compare Constrained DQN to reward shaping and Lagrangian methods in the application of high-level decision making in autonomous driving, considering constraints for safety, keeping right and comfort. We train our agent in the open-source simulator SUMO and on the real HighD data set.

연구 동기 및 목표

• 자율주행과 같은 실제 응용 분야에서 다중 안전성 및 성능 제약 조건을 만족하는 강화학습 에이전트를 훈련시키는 데 도전하는 것.
• 보상 형태 조정과 라그랑주 방법의 한계를 극복하는 것 — 이는 제약 조건 이행 보장이 없고 광범위한 초모수 조정이 필요하기 때문이다.
• Q-업데이트 과정을 직접 수정함으로써 하드 제약 조건 하에 최적의 정책을 보장하는 방법을 개발하는 것 — 사후 정책 추출에 의존하지 않는 방식이다.
• 할인율에 독립적이고 더 직관적으로 설정할 수 있는, 잘린 값 함수를 기반으로 한 새로운 다단계 제약 조건 클래스를 도입하는 것.
• 모의 환경과 실제 환경에서의 평가를 통해 일반화 능력과 분포 이탈에 대한 강건성을 입증하는 것.

제안 방법

• 제약 조건 Q-러닝은 최대화 단계에서 제약 조건을 만족하는 액션만 포함된 액션 스페이스로 제한함으로써 Q-업데이트를 수정하여, 학습된 Q-함수와 안전한 정책가 일치하도록 보장한다.
• 현재 타겟 정책 하에서 잘린 값 함수를 사용한 근사 다단계 제약 조건의 공식화를 도입함으로써, 할인율에 의존하지 않고 유한한 수평선(horizon) 동안의 제약 조건 설정이 가능해진다.
• 이 방법은 딥 Q-네트워크(DQN)에 통합되어 제약 조건이 있는 DQN(Constrained DQN, CDQN)으로 구현되며, 타겟 네트워크를 사용해 수평선 H 동안의 향후 제약 비용을 추정한다.
• 제약 조건은 Q-업데이트 중 액션 스페이스 형태 조정을 통해 강제되며, 이는 검색 공간을 줄이고 표본 효율성을 높인다. 이는 표본 공간 설정에서 특히 유리하다.
• 이 프레임워크는 단일 단계 및 다단계 제약 조건을 모두 지원하며, 후자는 '10초 이내에 최대 두 번의 차선 변경'과 같은 직관적인 제약 조건 설정이 가능하다.
• 보상 형태 조정이나 라그랑주 페널티 초모수 조정이 필요 없으며, 안전 핵심 강화학습에 더 해석 가능하고 강건한 대안을 제공한다.

실험 결과

연구 질문

• RQ1 Q-업데이트에 직접 제약 조건을 강제하는 것이 보상 형태 조정이나 라그랑주 방법보다 더 안전하고 최적의 정책을 도출할 수 있는가?
• RQ2 제약 조건이 있는 Q-업데이트에 의한 액션 스페이스 형태 조정은 보상 형태 조정에 비해 표본 효율성과 제약 조건 이행 성능에서 어떻게 비교되는가?
• RQ3 잘린 값 함수를 통해 도입된 다단계 제약 조건은 할인율에 의존하지 않으며, 해석 가능성과 성능 향상에 어떻게 기여하는가?
• RQ4 CDQN은 시뮬레이션에서 훈련된 후에도 실제 데이터 분포에 일반화되는가?
• RQ5 CDQN은 자율주행 의사결정에서 고성능 유지와 함께 거의 제로 제약 위반을 달성할 수 있는가?

주요 결과

• 실제 HighD 데이터에서 평가 시 CDQN은 모든 시간 단계에서 제로 제약 위반을 달성했으며, 안전성, 속도, 일관성 측면에서 모든 베이스라인을 능가했다.
• 모의 환경에서 CDQN은 보상 형태 조정 및 라그랑주 방법 대비 제약 위반 수를 수개월 단위로 감소시켰으며, 이는 높은 변동성과 일관성 없는 성능을 보였던 베이스라인과 대비된다.
• SPE 베이스라인은 직진 주행으로 붕괴되어 과제에 맞게 차선 변경을 수행하지 못했다.
• 실제 HighD 데이터에서 훈련된 CDQN은 새로운 시나리오로의 일반화 능력이 뛰어나며, 시뮬레이션에서 훈련된 CDQN과 비교해도 성능이 유사하거나 뛰어나, 특히 고밀도 교통 환경에서 두드러졌다.
• 표본 공간 설정에서 제약 조건 Q-러닝은 액션 스페이스 형태 조정에 의해 검색 공간이 줄어들었기 때문에 보상 형태 조정 대비 10배 더 표본 효율적이었다.
• 다단계 제약 조건을 위한 잘린 값 함수의 사용은 할인 요소 정밀 조정이 필요 없이도 직관적인, 할인율에 독립적인 제약 조건 설정이 가능하게 했으며, 예를 들어 10초 창 안에서 차선 변경 횟수 제한과 같은 제약 조건을 쉽게 설정할 수 있었다.