[논문 리뷰] Black-Box Safety Validation of Autonomous Systems: A Multi-Fidelity Reinforcement Learning Approach

Jared Beard, Ali Baheri|arXiv (Cornell University)|2022. 03. 07.

Software Reliability and Analysis Research인용 수 4

한 줄 요약

이 논문은 자율 시스템의 안전성 검증을 향상시키기 위해 모델 지식을 '알아서 무엇을 아는가'(KWIK) 프레임워크를 통해 의사결정에 통합함으로써 다중 신뢰도 강화학습 접근법인 MF-RL-falsify를 제안한다. 저신뢰도 및 고신뢰도 시뮬레이터 간 이중 방향 지식 전이를 가능하게 하고 지식 기반 탐색을 활용함으로써, 단일 신뢰도 방법 대비 샘플당 최대 6배 높은 실패 발견 효율을 달성하며, 고신뢰도 샘플링을 최소화하고 초기 단계의 탐색 성능을 향상시킨다.

ABSTRACT

The increasing use of autonomous and semi-autonomous agents in society has made it crucial to validate their safety. However, the complex scenarios in which they are used may make formal verification impossible. To address this challenge, simulation-based safety validation is employed to test the complex system. Recent approaches using reinforcement learning are prone to excessive exploitation of known failures and a lack of coverage in the space of failures. To address this limitation, a type of Markov decision process called the "knowledge MDP" has been defined. This approach takes into account both the learned model and its metadata, such as sample counts, in estimating the system's knowledge through the "knows what it knows" framework. A novel algorithm that extends bidirectional learning to multiple fidelities of simulators has been developed to solve the safety validation problem. The effectiveness of this approach is demonstrated through a case study in which an adversary is trained to intercept a test model in a grid-world environment. Monte Carlo trials compare the sample efficiency of the proposed algorithm to learning with a single-fidelity simulator and show the importance of incorporating knowledge about learned models into the decision-making process.

연구 동기 및 목표

• 희귀 실패가 자주 간과되고 고신뢰도 시뮬레이션이 계산적으로 비용이 많이 드는 단일 신뢰도 강화학습의 한계를 해결하기 위해.
• 이중 방향 학습 프레임워크를 통해 다수의 시뮬레이터 신뢰도를 활용하여 실패 탐지의 샘플 효율을 향상시키기 위해.
• 모델 지식(예: 샘플 수와 불확실성 등)을 '알아서 무엇을 아는가'(KWIK) 프레임워크를 통해 의사결정 과정에 통합하기 위해.
• 실패 커버리지 최대화를 위해 고신뢰도 시뮬레이션에 대한 의존도를 줄이고 지식 기반 탐색을 통해 실현하기 위해.
• 초기 단계와 종합적인 실패 탐지에서 표준 단일 신뢰도 접근법보다 뛰어난 성능을 보이는 확장 가능한 지식 보강 강화학습 알고리즘 개발하기 위해.

제안 방법

• 시스템 동역학과 에이전트의 모델에 대한 지식(예: 샘플 수와 같은 메타데이터 포함)을 명시적으로 모델링하는 새로운 지식 마르코프 결정 과정(KMDP)을 도입한다.
• 저신뢰도 시뮬레이터에서 고신뢰도 시뮬레이터로, 그리고 그 반대로의 지식 전이를 가능하게 하는 이중 방향 학습 메커니즘을 활용하여 샘플 효율을 향상시킨다.
• 모델 불확실성을 추정하고 탐색을 안내하기 위해 '알아서 무엇을 아는가'(KWIK) 프레임워크를 사용하여 조기 수렴을 방지한다.
• 샘플당 지식 증가량 기반의 경계 업데이트 메커니즘을 적용하여 탐색을 동적으로 조정하며, 특히 모델 추정치가 부족한 영역에서 매우 효과적이다.
• 가치 반복을 활용하여 KMDP를 해결하고 고신뢰도 시뮬레이션 사용을 최소화하는 데 초점을 맞춘 악성 정책 최적화를 수행한다.
• 실패 탐지 비율과 샘플 효율성 등 여러 지표를 기반으로 다중 신뢰도 접근법(MF-RL-falsify)과 단일 신뢰도 기반선을 비교하기 위해 몬테카를로 시험을 시행한다.

실험 결과

연구 질문

• RQ1 KWIK 프레임워크를 통한 모델 지식 통합이 다중 신뢰도 안전성 검증에서 탐색과 실패 탐지에 어떻게 기여하는가?
• RQ2 저신뢰도 및 고신뢰도 시뮬레이터 간의 이중 방향 지식 전이가 샘플 효율성과 실패 커버리지에 어떤 영향을 미치는가?
• RQ3 경계 업데이트 메커니즘이 학습의 초기 단계 및 수렴 단계에서 탐색에 어떻게 영향을 미치는가?
• RQ4 MF-RL-falsify 알고리즘이 실패 탐지 성능을 유지하거나 향상시키면서도 필요한 고신뢰도 샘플 수를 얼마나 줄이는가?
• RQ5 특히 초기 학습 단계에서 다중 신뢰도 접근법이 단일 신뢰도 강화학습 대비 샘플당 실패 탐지 성능에서 어떻게 비교되는가?

주요 결과

• MF-RL-falsify 알고리즘은 단일 신뢰도 기반선 대비 초기 학습 단계에서 샘플당 최대 6배 높은 실패 탐지 효율을 달성한다.
• 수렴을 위해 필요한 고신뢰도 샘플과 저신뢰도 샘플의 비율이 0.4 이하로 낮아져 고신뢰도 시뮬레이션 사용이 크게 감소함을 나타낸다.
• R_inc = 5로 설정된 경계 업데이트는 고신뢰도 샘플링을 최소화하면서도 실패 탐지량을 최대 15% 향상시켜, 특히 샘플 수가 부족한 영역에서의 탐색 향상이 뚜렷하다.
• 다중 신뢰도 접근법은 단일 신뢰도 방법보다 실패를 훨씬 이르게 탐지하며, 후자는 초기 고신뢰도 샘플을 생산적인 탐색 없이 낭비한다.
• 수렴 후 두 방법 모두 유사한 샘플 축적 속도를 보이지만, MF 접근법은 학습 전반에 걸쳐 샘플당 실패 탐지 효율에서 뚜렷한 우위를 유지한다.
• 지식 기반 업데이트의 통합은 조기 수렴을 방지하고 탐색을 지속시켜, 특히 복잡하거나 희귀한 실패 시나리오에서 매우 유익하다.