[논문 리뷰] Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic

Yangang Ren, Jingliang Duan외 3명|arXiv (Cornell University)|2020. 02. 13.

Reinforcement Learning in Robotics참고 문헌 27인용 수 8

한 줄 요약

이 논문은 최소최대 게임 역학과 분포 강화학습 프레임워크를 융합하여 일반화 성능을 향상시키는 강화학습 알고리즘인 Minimax 분포형 소프트 액터-크리틱(Minimax DSAC)을 제안한다. 위험 회피 성향을 가진 주인공과 환경을 방해하는 위험 유혹 성향의 적대자 간의 경쟁을 통해, 이 방법은 예측할 수 없는 환경 변화에 대해 강건한 정책을 학습하며, 교차로에서의 안전 중심 자율주행 시나리오에서 표준 DSAC보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Reinforcement learning (RL) has achieved remarkable performance in numerous sequential decision making and control tasks. However, a common problem is that learned nearly optimal policy always overfits to the training environment and may not be extended to situations never encountered during training. For practical applications, the randomness of environment usually leads to some devastating events, which should be the focus of safety-critical systems such as autonomous driving. In this paper, we introduce the minimax formulation and distributional framework to improve the generalization ability of RL algorithms and develop the Minimax Distributional Soft Actor-Critic (Minimax DSAC) algorithm. Minimax formulation aims to seek optimal policy considering the most severe variations from environment, in which the protagonist policy maximizes action-value function while the adversary policy tries to minimize it. Distributional framework aims to learn a state-action return distribution, from which we can model the risk of different returns explicitly, thereby formulating a risk-averse protagonist policy and a risk-seeking adversarial policy. We implement our method on the decision-making tasks of autonomous vehicles at intersections and test the trained policy in distinct environments. Results demonstrate that our method can greatly improve the generalization ability of the protagonist agent to different environmental variations.

연구 동기 및 목표

• 자율주행과 같은 안전 중심 응용 분야에서 깊이 강화학습 정책의 예측 불가능한 환경 변화에 대한 일반화 능력 부족 문제를 해결한다.
• 적대자에 의해 활성적으로 방해받는 환경을 모델링함으로써 최소최대 공식화를 통해 정책의 강건성을 향상시킨다.
• 수익 분포를 명시적으로 모델링하여 평균 수익을 넘어서 분산과 꼬리 위험을 포함한 위험 인식 정책 학습을 가능하게 한다.
• 이전의 최소최대 또는 위험 민감한 방법보다 더 나은 일반화 성능을 보이는 연속 행동 기반 분포 강화학습 알고리즘을 개발한다.
• 훈련 중에 관찰되지 않은 다양한 적대적 주행 모드 하에서 교차로 통과 시 자율주행 차량의 성능을 초월함을 입증한다.

제안 방법

• 주인공이 기대 수익을 최대화하고 적대자가 이를 최소화하는 최소최대 게임 프레임워크를 도입하여, 악성 환경 변화를 시뮬레이션한다.
• 전체 수익 분포를 모델링하기 위해 분포 강화학습 철학을 통합하여, 분포 매개변수를 통한 명시적 위험 모델링을 가능하게 한다.
• 낮은 분산과 치명적인 결과를 최적화하는 위험 회피 성향의 주인공 정책과 환경의 불확실성을 증폭시키는 위험 유혹 성향의 적대자 정책을 정의한다.
• 분포 수익 함수 기반의 소프트 액터-크리틱(DSAC) 아키텍처를 기반으로 주인공과 적대자 정책을 번갈아가며 훈련하며, 분포 수익 Q-네트워크를 사용해 상태-행동 가치 분포를 추정한다.
• 적대자가 유도하는 악성 분포 이동 상황에서의 최악의 경우를 고려한 최소최대 목표를 수익 분포에 적용하여 가치 함수를 최적화한다.
• 적대자 에이전트가 공격적, 보수적, 또는 무작위 행동을 시뮬레이션하는 교차로에서 자율주행 차량의 의사결정에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 최소최대 공식화와 분포 강화학습의 융합이 예측 불가능한 환경 조건에서의 정책 일반화를 향상시키는가?
• RQ2 수익 분포 모델링을 통한 위험 인식 정책 학습이 극단적 또는 희귀한 환경 변화 하에서의 성능에 어떤 영향을 미치는가?
• RQ3 위험 유혹 성향의 적대자와의 적대적 훈련이 자율주행과 같은 안전 중심 제어 과제에서 더 강건한 정책을 만들어내는가?
• RQ4 훈련 중에 관찰되지 않은 다양한 주행 모드(공격적, 보수적, 무작위)에서 Minimax DSAC는 표준 DSAC보다 성능이 뛰어나게 되는가?
• RQ5 분포 프레임워크는 이전의 위험 민감하거나 적대적 강화학습 방법들보다 더 나은 일반화 성능을 제공하는가? (이전 방법들은 이산 가치 함수 근사에 의존함)

주요 결과

• 모든 적대적 주행 모드에서 Minimax DSAC는 표준 DSAC보다 유의미하게 높은 평균 수익을 기록했으며, t-검정에서 p-값 < 0.001을 기록했다.
• 공격적 모드에서는 DSAC가 충돌로 실패했고(2.3초 통과 시간), Minimax DSAC는 감속 및 대기 전략을 통해 충돌을 피하며 성공적으로 통과했다(8.5초 통과 시간).
• 무작위 모드에서는 Minimax DSAC가 6.1초 만에 교차로를 통과했고, DSAC는 8.9초가 걸려 더 뛰어난 적응 능력을 보였다.
• 보수적 모드에서는 두 방법 모두 성공했지만, Minimax DSAC는 더 빠른 통과 시간(7.4초 대비 7.6초)을 기록하여 안전성을 유지하면서도 효율성이 향상됨을 보여주었다.
• 훈련 중에 적대적 방해로 인해 평균 수익이 낮았음에도 불구하고, Minimax DSAC는 예측 불가능한 환경 변화에 대해 뛰어난 일반화 능력을 보였다.
• 시각화 결과, Minimax DSAC는 고위험 상황에서 사전에 감속하고 기다리는 전략을 학습한 반면, DSAC는 고속 주행 전략으로 인해 충돌이 발생했다.