[논문 리뷰] A Learnable Safety Measure

Steve Heim, Alexander von Rohr외 2명|arXiv (Cornell University)|2019. 10. 07.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 4

한 줄 요약

이 논문은 실패 상태에 대한 시스템 동역학을 암묵적으로 캡처하는 학습 가능한 안전 조치를 제안하며, 가우시안 프로세스 주도 샘플링을 통한 모델 프리 모델 기반의 안전 탐색을 가능하게 한다. 이 방법은 타당한 상태-행동 쌍에 대한 확률적 추정을 학습하여, 정확한 시스템 모델나 실패 경계에 대한 사전 지식 없이도 500개의 샘플 이후 실패율을 8% 감소시킨다.

ABSTRACT

Failures are challenging for learning to control physical systems since they risk damage, time-consuming resets, and often provide little gradient information. Adding safety constraints to exploration typically requires a lot of prior knowledge and domain expertise. We present a safety measure which implicitly captures how the system dynamics relate to a set of failure states. Not only can this measure be used as a safety function, but also to directly compute the set of safe state-action pairs. Further, we show a model-free approach to learn this measure by active sampling using Gaussian processes. While safety can only be guaranteed after learning the safety measure, we show that failures can already be greatly reduced by using the estimated measure during learning.

연구 동기 및 목표

• 정확한 타당성 커널 계산이 필요 없이, 실패 상태에 대한 시스템 동역학을 암묵적으로 코딩하는 안전 조치를 개발하는 것.
• 정확한 동역학 모델이 없을 경우에도 비용이 많이 들지만 치명적이지 않은 실패가 발생하는 물리 시스템에서의 안전 탐색을 가능하게 하는 것.
• 가우시안 프로세스를 사용한 주도 샘플링을 통해 타당한 상태-행동 집합에 대한 확률적 추정을 학습하여 사전 지식에 대한 의존도를 최소화하는 것.
• 수렴 이전에도 추정된 안전 조치를 가이드로 사용하여 학습 중 실패율을 감소시키는 것.
• 기존의 타당성 커널 계산에 비해 고도의 공학적 노력과 모델 정확도 문제를 피하는 확장 가능한 모델 프리 대안을 제공하는 것.

제안 방법

• 안전 조치는 타당한 상태-행동 쌍의 집합에서 타당성의 적분으로 정의되며, 실패 상태에 진입하지 않고도 '움직일 수 있는 여유'를 정량화한다.
• 안전 조치를 모델링하기 위해 가우시안 프로세스를 사용하며, 저해상도 시뮬레이션과 알려진 운영 점을 바탕으로 한 사전 분포를 활용하여 수렴을 향상시킨다.
• 주도 샘플링은 불확실성과 안전 추정 향상 잠재력에 기반하여 새로운 상태-행동 쌍을 선택하며, 신뢰 구간 γ_opt와 γ_caut를 사용한다.
• 알고리즘은 가우시안 프로세스의 부드러움 가정을 존중하면서도 비타당하지 않은 상태를 피하는 방식으로 안전 조치를 반복적으로 개선하고, 타당한 집합을 식별한다.
• 상태-행동 공간의 형태로 타당성을 정의하며, 시스템이 그 지점에서 실패를 무한히 피할 수 있다면 해당 상태-행동 쌍은 타당하다.
• 탐색과 안전성을 균형 잡기 위해 고위험 영역에서의 불확실성 감소를 우선시하면서도 실패 발생 수를 최소화하는 방식으로 샘플을 선택한다.

실험 결과

연구 질문

• RQ1 정확한 시스템 동역학 모델이 필요 없이 데이터에서 직접 안전 조치를 학습할 수 있는가?
• RQ2 가우시안 프로세스를 사용한 모델 프리 접근법이 실패 비용이 높은 시스템에서 어떻게 안전 탐색을 가능하게 하는가?
• RQ3 추정된 안전 조치가 수렴 이전에 실패율을 얼마나 감소시킬 수 있는가?
• RQ4 γ_opt, γ_caut, λ와 같은 조정 파rameter가 학습된 타당 집합의 정확도와 보수성에 어떤 영향을 미치는가?
• RQ5 가우시안 프로세스의 부드러움 가정이 비부드러운 실패 경계 근처의 학습 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 안전 조치는 각 상태-행동 쌍에서 이용 가능한 안전 행동의 수를 정량화함으로써 시스템의 타당성을 효과적으로 캡처한다.
• 500개의 샘플 이후 SLIP 모델에서 실패율이 8%로 감소하여 학습 중 실패 수를 크게 줄였음을 보여준다.
• 비부드러운 실패 경계 근처에서도 알고리즘이 타당 집합을 성공적으로 학습했지만, 이 영역는 부드러움 가정 위반으로 인해 더 많은 샘플이 필요했다.
• 저해상도 시뮬레이션에서 유도된 사전 공분산 함수는 모델 정확도가 떨어지는 상황에서도 수렴 속도를 높였으며, 특히 잘 선택된 운영 점과 조합될 경우 더욱 효과적이었다.
• 이 방법은 보수적이지만 거의 최대 수준의 타당 집합 근사치를 달성했으며, 사전 정확도 부족에 대한 강건성과 주도 샘플링의 효과적 활용을 보여주었다.
• 기존의 모델 기반 타당성 커널 계산이 비현실적인 고차원 복잡 시스템에서의 안전 학습을 가능하게 한다.