[논문 리뷰] Multimodal Safety-Critical Scenarios Generation for Decision-Making Algorithms Evaluation

Wenhao Ding, Baiming Chen외 3명|arXiv (Cornell University)|2020. 09. 16.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 8

한 줄 요약

이 논문은 자율주행의 의사결정 알고리즘 평가를 위한 다중모달성, 안전이 핵심인 교통 시나리오를 효율적으로 생성하는 플로우 기반 생성 모델을 제안한다. 가중 최대우도 추정과 기울기 기반 적응형 샘플러를 사용함으로써 샘플링 효율성이 향상되고 다양한 위험 모드를 포착할 수 있으며, 여섯 개의 강화학습 알고리즘 간의 알고리즘 강건성 차이를 드러내는 데서 균일 샘플링보다 뛰어난 성능을 발휘한다.

ABSTRACT

Existing neural network-based autonomous systems are shown to be vulnerable against adversarial attacks, therefore sophisticated evaluation on their robustness is of great importance. However, evaluating the robustness only under the worst-case scenarios based on known attacks is not comprehensive, not to mention that some of them even rarely occur in the real world. In addition, the distribution of safety-critical data is usually multimodal, while most traditional attacks and evaluation methods focus on a single modality. To solve the above challenges, we propose a flow-based multimodal safety-critical scenario generator for evaluating decisionmaking algorithms. The proposed generative model is optimized with weighted likelihood maximization and a gradient-based sampling procedure is integrated to improve the sampling efficiency. The safety-critical scenarios are generated by querying the task algorithms and the log-likelihood of the generated scenarios is in proportion to the risk level. Experiments on a self-driving task demonstrate our advantages in terms of testing efficiency and multimodal modeling capability. We evaluate six Reinforcement Learning algorithms with our generated traffic scenarios and provide empirical conclusions about their robustness.

연구 동기 및 목표

• 균일 샘플링과 단일모달성 악성 공격의 평가 한계를 해결하기 위해.
• 실제 세계의 안전이 핵심인 시나리오의 다중모달 분포를 모델링하고, 특히 희귀하지만 고위험인 교통 사고를 포괄하기 위해.
• 기울기 기반 적응형 샘플링을 통해 고차원 시나리오 공간에서 다양한 위험 모드를 탐색하는 데 샘플링 효율성을 향상시키기 위해.
• 실제 스트레스 조건 하에서 강화학습 알고리즘 간 비교를 위한 균일 샘플링보다 더 정보적인 평가 프레임워크를 제공하기 위해.
• 시뮬레이터와 작업 특화 피드백을 사용하여 의사결정 알고리즘을 효율적으로 블랙박스 평가할 수 있도록 하기 위해.

제안 방법

• 정규화 플로우 기반 생성 모델이 가중 최대우도 추정(Weighted Maximum Likelihood Estimation, WMLE)을 사용하여 안전이 핵심인 시나리오의 다중모달 분포를 학습한다.
• WMLE에서의 가중치는 위험 지표에 비례하여 설정되어, 높은 우도의 샘플이 고위험 시나리오에 해당하도록 보장한다.
• 자연 진화 전략(Natural Evolution Strategy, NES) 기반 기울기 추정을 이용한 적응형 샘플링 절차가, 탐색하지 않은 고위험 영역에 집중할 수 있도록 샘플링 영역을 동적으로 조정한다.
• 이 방법은 의사결정 알고리즘을 블랙박스로 간주하고, 시뮬레이션을 통해 위험 피드백을 수집하여 생성기 학습에 활용한다.
• 조건부 입력을 생성기에 통합하여, 작업 특화 특성에 따라 시나리오를 적응적으로 조정한다.
• 학습 과정은 크로스엔트로피 방법(Cross-Entropy Method, CEM)을 영감으로 삼은 온정책 최적화 프레임워크를 따르며, 이로써 다중모달 커버리지가 효율적으로 달성된다.

실험 결과

연구 질문

• RQ1 생성 모델이 실제 세계의 안전이 핵심인 교통 시나리오의 다중모달 성격을 효과적으로 포착할 수 있는가?
• RQ2 고차원 시나리오 공간에서 다양한 희귀 위험 모드를 탐색할 때 샘플링 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 가중 최대우도와 적응형 샘플링 기반 시나리오 생성이 균일 샘플링보다 강화학습 알고리즘 평가에 더 정보적인가?
• RQ4 다양한 RL 알고리즘은 생성된 다중모달 위험 시나리오에서 균일 샘플링과 비교해 어떻게 성능을 발휘하는가?
• RQ5 균일 샘플링이 감지하지 못하는 바를, 제안된 프레임워크가 알고리즘 간 강건성의 의미 있는 차이를 드러내는가?

주요 결과

• 적응형 샘플러를 사용한 제안된 생성기는 3,000개의 샘플로 모든 위험 모드를 100% 커버했으며, HMC는 10,000개, 균일 샘플링은 100,000개가 필요했다.
• 여섯 개의 RL 알고리즘에 대한 평가에서 MBRL은 이러한 위험 시나리오에 대해 훈련 없이도 강력한 성능 유지를 보였는데, 이는 동역학 모델 기반 계획에 기인한다.
• DDPG, DQN, SAC는 생성된 시나리오에서 중간 정도의 향상을 보였으며, 충돌률이 처음에는 증가하다가 감소하는 경향을 보여, 새로운 위험에 부분적으로 일반화된 것으로 나타났다.
• PPO와 A2C는 온정책 방법이므로 생성된 시나리오에서 성능 향상이 없었고 충돌률이 증가하는 경향을 보여, 다양한 위험 모드에서의 불안정성을 드러냈다.
• 균일 샘플링은 유사한 최종 보상과 충돌률에도 불구하고 알고리즘 간 강건성의 차이를 감지하지 못했지만, 생성기는 이러한 알고리즘 간의 차이를 효과적으로 드러냈다.
• 예시에서 보듯이, 이 프레임워크는 자전거 스폰 위치에 대해 두 가지 별개의 위험 모드를 성공적으로 모델링했으며, 이는 효과적인 다중모달 표현을 가능하게 했다.