[논문 리뷰] Risk Averse Robust Adversarial Reinforcement Learning

Xinlei Pan, Daniel Seita외 2명|arXiv (Cornell University)|2019. 03. 31.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 11

한 줄 요약

이 논문은 위험 회피적 강화학습을 위한 Risk-Averse Robust Adversarial Reinforcement Learning (RARARL)을 제안한다. 이 방법은 가치 함수 분산을 추정하기 위해 Q-네트워크의 앙상블을 사용하여 위험 회피적 주인공과 위험 유혹적 적대자 모두를 훈련시켜 치명적인 결과를 피할 수 있도록 한다. 기존의 표준 DQN 및 RARL에 비해 자율주행 시뮬레이션에서 충돌 수를 크게 감소시킨다.

ABSTRACT

Deep reinforcement learning has recently made significant progress in solving computer games and robotic control tasks. A known problem, though, is that policies overfit to the training environment and may not avoid rare, catastrophic events such as automotive accidents. A classical technique for improving the robustness of reinforcement learning algorithms is to train on a set of randomized environments, but this approach only guards against common situations. Recently, robust adversarial reinforcement learning (RARL) was developed, which allows efficient applications of random and systematic perturbations by a trained adversary. A limitation of RARL is that only the expected control objective is optimized; there is no explicit modeling or optimization of risk. Thus the agents do not consider the probability of catastrophic events (i.e., those inducing abnormally large negative reward), except through their effect on the expected objective. In this paper we introduce risk-averse robust adversarial reinforcement learning (RARARL), using a risk-averse protagonist and a risk-seeking adversary. We test our approach on a self-driving vehicle controller. We use an ensemble of policy networks to model risk as the variance of value functions. We show through experiments that a risk-averse agent is better equipped to handle a risk-seeking adversary, and experiences substantially fewer crashes compared to agents trained without an adversary.

연구 동기 및 목표

• 기존의 강력한 강화학습 방법들이 드물지만 치명적인 사건을 명시적으로 모델링하거나 최적화하지 못하는 한계를 해결하기 위해.
• 자율주행과 같은 안전이 중요한 환경에서 위험 회피를 훈련 목표에 명시적으로 통합하여 정책의 강건성을 향상시키기 위해.
• 랜덤한 변형에 의존하는 것보다는 치명적인 결과를 적극적으로 유도하는 더 효과적인 적대자를 설계하기 위해.
• 위험을 유도하는 적대자가 위험한 상태 영역을 탐색함으로써 주인공이 강건한 정책을 학습할 수 있도록 하기 위해.
• 위험 회피적 훈련과 적대적 변형이 랜덤한 변형이나 변형 없음에 비해 훨씬 더 적은 충돌을 유도한다는 것을 입증하기 위해.

제안 방법

• 주인공은 기대 수익을 최대화하면서도 가치 함수의 분산을 최소화하는 위험 회피 목표를 사용하며, 이 분산은 Q-가치 네트워크의 앙상블을 통해 추정된다.
• 적대자는 주인공의 장기적 보상을 최소화하도록 훈련되며, 명시적으로 위험 유혹적인 성향을 띠고 있어 치명적인 결과를 유도하고자 한다.
• 프레임워크는 턴 기반 동작 메커니즘을 사용하며, 적대자가 주기적으로(10단계에 1회) 환경 상태를 변형시켜 위험한 역학적 특성을 깊이 탐색할 수 있도록 한다.
• 새로운 비대칭 보상 함수를 사용한다: 성공에 대해 작은 양의 보상과 치명적인 사고에 대해 큰 음의 보상을 제공하여 위험 회피를 강화한다.
• 이 방법은 TORCS 자율주행 시뮬레이터에서 평가되며, 변형 없음, 랜덤 변형, 훈련된 적대적 변형 조건에서의 성능을 비교한다.
• 앙상블 기반 분산 추정은 고차원의 연속 상태 공간에서의 스케일러블한 위험 모델링을 가능하게 하여, 이전 방법들이 유한한 상태 공간을 가정하는 데서 비롯된 한계를 극복한다.

실험 결과

연구 질문

• RQ1 위험 회피 목표는 강화학습에서 드문 치명적인 사건에 대한 강건성을 향상시킬 수 있는가?
• RQ2 위험 유혹적인 적대자가 위험 회피 정책을 훈련시키기 위해 랜덤한 변형보다 더 강력한 훈련 신호를 제공하는가?
• RQ3 Q-네트워크 앙상블을 통한 분산 기반 위험 모델링은 안전이 중요한 환경에서 정책 일반화를 어떻게 향상시키는가?
• RQ4 RARARL은 자율주행 시뮬레이션에서 표준 DQN 및 RARL에 비해 충돌률을 얼마나 줄이는가?
• RQ5 위험 회피와 적대적 훈련의 조합은 시뮬레이션에서 실제 환경으로의 전이 시나리오에서 더 신뢰할 수 있는 정책을 도출할 수 있는가?

주요 결과

• 훈련된 적대자와 함께 훈련된 위험 회피적 DQN 에이전트(BSDQN-adv-riskaverse)는 -0.08의 치명적 사고 보상을 기록하여 표준 DQN(-0.80)과 RARL 기반 모델보다 유의미하게 뛰어나다.
• 적대적 변형 조건에서 위험 회피 모델은 최고 -0.10의 치명적 사고 보상을 기록했으며, 비위험 회피적 BSDQN-adv 모델의 -1.0과 비교해 충돌 횟수가 크게 줄어들었다.
• 시각화된 궤적에서 훈련된 적대자가 주인공을 벽에 충돌시켰지만, 랜덤한 변형은 의도적이고 조율된 행동이 없어 이러한 충돌을 유도하지 못했다.
• 적대적 변형을 통해 훈련된 모델은 랜덤 공격과 적대적 공격 모두에 대해 랜덤 변형만으로 훈련된 모델보다 뛰어난 강건성을 보였다.
• 위험 항목은 적대자가 고분산·고위험 영역을 탐색하도록 유도하고, 주인공은 이를 피하도록 유도하여 더 안전한 정책 학습을 이끌었다.
• 앙상블 기반 분산 추정은 연속적이고 고차원적인 상태 공간에서 효과적인 위험 모델링을 가능하게 하여, 이론적 실용성을 확보했다.