[논문 리뷰] I'm sorry Dave, I'm afraid I can't do that, Deep Q-learning from forbidden action

Mathieu Seurin, Pierre‐Marie Preux외 1명|arXiv (Cornell University)|2019. 10. 04.

Reinforcement Learning in Robotics참고 문헌 48인용 수 7

한 줄 요약

이 논문은 실제 환경에서 안전 제약에 의해 거부되는 행동(금지된 행동)으로부터 학습할 수 있도록 수정된 딥 Q-네트워크(DQN)를 제안한다. 금지된 행동의 Q-값이 유효한 행동의 Q-값보다 낮아지도록 유도하는 프론티어 손실을 도입함으로써, 표준 DQN에 비해 수렴 속도를 높이고 안전하지 않은 행동 호출을 줄인다. 이는 제약 조건이 있는 환경에서 더 안전하고 효율적인 강화 학습을 가능하게 한다.

ABSTRACT

The use of Reinforcement Learning (RL) is still restricted to simulation or to enhance human-operated systems through recommendations. Real-world environments (e.g. industrial robots or power grids) are generally designed with safety constraints in mind implemented in the shape of valid actions masks or contingency controllers. For example, the range of motion and the angles of the motors of a robot can be limited to physical boundaries. Violating constraints thus results in rejected actions or entering in a safe mode driven by an external controller, making RL agents incapable of learning from their mistakes. In this paper, we propose a simple modification of a state-of-the-art deep RL algorithm (DQN), enabling learning from forbidden actions. To do so, the standard Q-learning update is enhanced with an extra safety loss inspired by structured classification. We empirically show that it reduces the number of hit constraints during the learning phase and accelerates convergence to near-optimal policies compared to using standard DQN. Experiments are done on a Visual Grid World Environment and Text-World domain.

연구 동기 및 목표

• 안전 제약에 의해 위험한 행동이 거부되는 환경에서 강화 학습을 수행하는 데 도전하는 것.
• 표준 DQN이 거부된 행동를 무시하는 것으로 간주해 이를 학습하지 못하는 한계를 극복하는 것.
• 외부 제어기나 액션 마스크로부터의 피드백을 활용하여 탐색과 정책 학습을 향상시키는 방법을 설계하는 것.
• 실제 응용에서 안전하지 않은 행동 사용을 최소화하면서 근사 최적 정책에 빠르게 수렴하는 것.

제안 방법

• 구조적 분류에서 영감을 얻은 프론티어 손실을 도입하여, 표준 DQN에 금지된 행동과 유효한 행동의 Q-값을 분리하도록 보완한다.
• 마진 기반 손실을 사용하여 행동이 금지되었는지 예측하는 분류 헤드를 훈련시켜 Q-값 간의 안전한 간격을 강제한다.
• 프론티어 손실을 DQN 업데이트 규칙에 통합하여, 안전 인식 정규화를 포함한 시간 차이 타겟을 수정한다.
• Q-값 예측용과 행동 유효성 분류용 두 개의 헤드를 갖춘 이중 헤드 네트워크를 사용하며, 양자 모두를 함께 훈련시킨다.
• 액션 마스크가 있는 환경(예: 시각적 격자 세계, TextWorld)에 적용하여 물리적 또는 문법적 범위를 초월한 행동이 거부되는 상황을 구현한다.
• 모델이 금지된 행동이 단지 효과가 없을 뿐 아니라 본질적으로 열 劣한 것임을 학습하도록 하여, 더 안전한 정책으로의 탐색을 이끌도록 한다.

실험 결과

연구 질문

• RQ1 표준 DQN은 외부 안전 제어기가 거부한 행동들로부터 효과적으로 학습할 수 있는가?
• RQ2 프론티어 손실을 추가함으로써 금지된 행동이 있는 환경에서 학습 효율성과 안전성이 어떻게 향상되는가?
• RQ3 제안된 방법은 표준 DQN에 비해 훈련 중 금지된 행동 호출 수를 줄이는가?
• RQ4 에이전트가 초기에 위험한 행동을 탐색하더라도 프론티어 손실이 더 안전한 정책으로의 탐색을 이끌 수 있는가?
• RQ5 이 방법은 크거나 변동성이 큰 행동 공간을 가진 환경으로까지 일반화되는가?

주요 결과

• 제안된 DQN에 프론티어 손실을 적용한 결과, 표준 DQN에 비해 훈련 중 금지된 행동 호출 수가 크게 감소하였다.
• 비디오 격자 세계와 TextWorld 환경에서 성능 향상 속도가 빨라지면서 근사 최적 정책에 수렴하는 데 시간이 단축됨을 확인하였다.
• 100,000개의 훈련 스텝 이후에도 표준 DQN은 금지된 행동과 유효한 행동의 Q-값을 명확히 분리하지 못하는 반면, 프론티어 손실은 일관된 간격을 유지하였다.
• 시각화 결과 프론티어 손실이 훈련 초반에 Q-값 분포를 재구성하여 위험한 행동을 피하도록 에이전트를 이끌어내는 것으로 나타났다.
• 이 방법은 특정 행동이 단지 효과가 없을 뿐 아니라 실제로 해로울 수 있음을 학습시켜 탐색을 향상시키며, 더 나은 정책 일반화를 이끌어냈다.
• 프론티어 손실은 행동 거부가 흔한 크거나 변동성이 큰 행동 공간을 가진 환경에서도 효과적인 학습을 가능하게 하였다.