[논문 리뷰] Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding

Chloe He, Borja G. León외 1명|arXiv (Cornell University)|2021. 12. 21.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 수동으로 설계된 동역학 모델이 필요 없이 고차원적이고 복잡한 환경에서 안전성을 고려한 강화학습 프레임워크인 잠재 차단( latent shielding)을 제안한다. 학습된 잠재 세계 모델을 통해 미래의 경로를 상상함으로써 차단 장치는 위험한 행동을 방지하여 훈련 중 안전 위반을 크게 줄인다. 성능은 유지하면서도.

ABSTRACT

The growing trend of fledgling reinforcement learning systems making their way into real-world applications has been accompanied by growing concerns for their safety and robustness. In recent years, a variety of approaches have been put forward to address the challenges of safety-aware reinforcement learning; however, these methods often either require a handcrafted model of the environment to be provided beforehand, or that the environment is relatively simple and low-dimensional. We present a novel approach to safety-aware deep reinforcement learning in high-dimensional environments called latent shielding. Latent shielding leverages internal representations of the environment learnt by model-based agents to "imagine" future trajectories and avoid those deemed unsafe. We experimentally demonstrate that this approach leads to improved adherence to formally-defined safety specifications.

연구 동기 및 목표

• 안전 위반이 영구적인 손상을 초래할 수 있는 실제 환경에 딥 강화학습 에이전트를 구현하는 데 도전하는 것.
• 기존의 차단 방법이 수동으로 설계된 환경 동역학 모델을 필요로 하는 제한을 극복하는 것. 이는 시간이 오래 걸리고 실수가 쉬운 과정이다.
• 기호 모델이 실현 가능하지 않은 고차원적, 확률적, 연속적인 환경에서 안전한 탐색과 훈련을 가능하게 하는 것.
• 기반 모델 에이전트의 내부 표현을 활용해 위험한 경로를 예측하고 피하는 차단 장치를 개발하는 것.
• 기호적 상징 모델에 비해 형식적 검증 가능성이 없더라도, 학습된 추상화가 실용적인 안전 보장을 제공할 수 있음을 보여주는 것.

제안 방법

• 에이전트 경험에서 잠재 세계 모델을 학습하기 위해 순환 상태공간 모델(SRSSM)을 사용하여, 명시적인 환경 모델링 없이도 확률적 동역학을 포착한다.
• 차단 장치는 잠재 세계 모델을 사용해 후보 행동에 대한 미래 경로를 시뮬레이션하고, 형식적 scLTL 사양에 의해 정의된 위험한 상태로 이어지는 행동을 식별 및 차단한다.
• 잠재 세계 모델 내에서 안전 인지 정책을 훈련시켜 훈련 중 위험한 상태에 노출되는 것을 줄이며, 샘플 효율성과 안전성을 향상시킨다.
• 모델 기반 강화학습에서 성능 저하를 유발할 수 있는 조기 차단을 방지하기 위해, 새로운 차단 장치 도입 스케줄을 도입한다.
• 잠재 공간에서 학습 효율성을 향상시키기 위해 애자일 학습과 커리큘럼 기반 탐색의 조합을 사용한다.
• 차단 장치는 경로 예측 기반으로 위험한 행동을 대체하며, scLTL 사양을 위한 진행 기반 모니터링 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 잠재 세계 모델이 고차원적이고 확률적인 환경에서 위험한 행동을 방지하는 차단 장치를 효과적으로 구성하는 데 사용될 수 있는가?
• RQ2 잠재 차단의 성능는 안전성과 최종 성능 측면에서 비차단 에이전트 및 기호적 차단 방법과 비교해 어떻게 되는가?
• RQ3 적절한 시점이 아닌 시점에 차단을 적용하면 모델 기반 에이전트의 학습 성능가 저하되는가? 만약 그렇다면 이를 어떻게 완화할 수 있는가?
• RQ4 학습된 세계 모델의 정밀도가 차단된 에이전트의 안전성과 강건성에 얼마나 영향을 미치는가?
• RQ5 학습된 추상화가 실질적인 실세계 강화학습 배포에 유용한 수준의 안전 보장을 제공할 수 있는가?

주요 결과

• 잠재 차단은 비차단 에이전트에 비해 훈련 중 안전 위반 수를 크게 줄이며, 형식적 안전 사양을 더 잘 준수한다.
• 형식적 검증 가능성이 없음에도 불구하고, 테스트 성능은 기호적 차단 접근법과 유사하다.
• 차단 장치 도입 스케줄의 도입으로 조기 차단으로 인한 성능 저하를 방지할 수 있었으며, 특히 모델 기반 강화학습 에이전트에서 효과적이었다.
• 이 프레임워크는 연속적 및 이산적 제어 환경 모두에서 성공적으로 작동하여 광범위한 적용 가능성을 보였다.
• 학습된 세계 모델의 사용은 수동으로 동역학 모델을 구성하기 어려운 환경에서 안전한 훈련을 가능하게 했다.
• 실험 결과는 차단 장치가 예상 경로를 재구성함으로써 위반 상태로 이어지는 위험한 행동을 효과적으로 차단할 수 있음을 보여주었다.