[논문 리뷰] How Should a Robot Assess Risk? Towards an Axiomatic Theory of Risk in Robotics

Anirudha Majumdar, Marco Pavone|arXiv (Cornell University)|2017. 10. 30.

Risk and Safety Analysis인용 수 9

한 줄 요약

이 논문은 로봇 공학에서의 위험 평가를 위한 공리적 프레임워크를 제안하며, 금융에서 영감을 받은 왜곡 위험 지표를 합리적이고 신뢰할 수 있는 도구로 제시한다. 이는 위험 평가의 합리성에 기반한 공리 체계를 수립하고, 복합된 한 단계 지표를 통해 순차적 의사결정에서 시간 일관성을 입증하며, 위험 민감도와 해석 가능성 사이의 균형을 이루는 원칙적인 클래스로 왜곡 위험 지표를 규명한다.

ABSTRACT

Endowing robots with the capability of assessing risk and making risk-aware decisions is widely considered a key step toward ensuring safety for robots operating under uncertainty. But, how should a robot quantify risk? A natural and common approach is to consider the framework whereby costs are assigned to stochastic outcomes - an assignment captured by a cost random variable. Quantifying risk then corresponds to evaluating a risk metric, i.e., a mapping from the cost random variable to a real number. Yet, the question of what constitutes a "good" risk metric has received little attention within the robotics community. The goal of this paper is to explore and partially address this question by advocating axioms that risk metrics in robotics applications should satisfy in order to be employed as rational assessments of risk. We discuss general representation theorems that precisely characterize the class of metrics that satisfy these axioms (referred to as distortion risk metrics), and provide instantiations that can be used in applications. We further discuss pitfalls of commonly used risk metrics in robotics, and discuss additional properties that one must consider in sequential decision making tasks. Our hope is that the ideas presented here will lead to a foundational framework for quantifying risk (and hence safety) in robotics applications.

연구 동기 및 목표

• 로봇 공학에서의 위험 평가를 위한 원칙적이고 공리적인 기반을 마련하여, 위험 지표 선택에 대한 이론적 토대가 부족한 문제를 해결한다.
• 안전이 중요한 로봇 응용 분야에서 합리적이고 신뢰할 수 있는 것으로 간주되기 위해 위험 지표가 만족해야 할 성질(공리)을 규명한다.
• 왜곡 위험 지표가 이러한 공리를 충족하고, 로봇 공학을 위한 수학적으로 타당한 위험 지표 클래스를 제공함을 입증한다.
• 복합된 한 단계 위험 지표를 통해 시간 일관성을 확보하여 순차적 의사결정에서 시간이 지남에 따라 모순되지 않는 합리적 위험 평가를 보장한다.
• 자율주행 차량과 같은 안전이 중요한 분야에서 실무적 위험 지표 선택을 안내하기 위해 인간의 위험 선호도와 규제 프레임워크와 연결된 위험 지표의 선택 또는 학습 방법을 제시한다.

제안 방법

• 금융 분야의 타당한 위험 지표에서 유래한 공리—이동 불변성, 단조성, 양의 동차성, 부분가환성—을 로봇 공학에서의 위험 평가 기초 성질로 채택한다.
• 왜곡 함수를 사용하여 누적분포함수 값에 재가중치를 부여함으로써 제안된 공리를 만족하는 위험 지표의 클래스인 왜곡 위험 지표를 정의한다.
• 의사결정 단계 간에 한 단계 위험 지표를 재귀적으로 조합하여 시간 일관성 있는 위험 지표를 구성함으로써, 시간에 따라 합리성이 유지됨을 보장한다.
• 왜곡 위험 지표의 표현 정리(Representation Theorem)를 사용하여 공리를 만족하는 전체 지표 클래스를 특성화함으로써 체계적인 지표 설계를 가능하게 한다.
• 인간의 위험 선호도를 위험 지표 클래스에서 학습하기 위해 위험 민감한 역강화학습 프레임워크를 제안한다.
• 위험을 한 단계 위험 평가의 조합으로 모델링하여 순차적 의사결정에 적용함으로써 시간 범위 전반에 걸쳐 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 로봇 공학의 의사결정에서 불확실성 하에 합리적이고 신뢰할 수 있는 것으로 간주되기 위해 위험 지표가 만족해야 할 공리는 무엇인가?
• RQ2 금융 분야에서 이미 사용된 바 있는 왜곡 위험 지표는 로봇 공학에 적응시켜 기대 비용 또는 최악의 경우 분석과의 대안으로서 원칙적인 접근을 제공할 수 있는가?
• RQ3 순차적 의사결정 과제에서 시간 일관성을 확보하기 위해 위험 지표는 어떻게 설계할 수 있는가? 이는 시간이 지남에 따라 비합리적인 행동을 방지한다.
• RQ4 비타당한 위험 지표(예: VaR)를 사용할 경우 로봇 공학에 어떤 영향을 미치며, 왜 이러한 지표는 비합리적이거나 최적화되지 않은 행동을 유발할 수 있는가?
• RQ5 로봇의 행동을 인간의 안전 기대에 맞추기 위해 인간의 선호도에서 위험 지표를 어떻게 선택하거나 학습시킬 수 있는가?

주요 결과

• 왜곡 위험 지표는 이동 불변성, 단조성, 양의 동차성, 부분가환성 공리를 충족하여 로봇 공학에서의 위험 평가에 합리적인 선택이 된다.
• 한 단계 위험 지표를 재귀적으로 조합함으로써 순차적 의사결정에서 시간 일관성이 달성되며, 이는 시간이 지남에 따라 위험 평가가 상호 모순되지 않음을 보장한다.
• 왜곡 위험 지표의 사용은 기대 비용(위험 중립)과 최악의 경우(과도하게 보수적인) 접근의 단점을 피하고 균형 잡힌 위험 민감도를 제공하는 보다 균형 잡힌 대안을 제공한다.
• 이 프레임워크는 이론적으로 탄탄하고 실용적으로 구현 가능한 위험 인지 계획 및 제어 시스템 개발을 가능하게 한다.
• 시간 일관성 있는 위험 지표는 단일 기간 위험 평가의 조합으로 표현될 수 있으며, 이는 다단계 의사결정 문제에 대해 확장 가능하고 해석 가능한 구조를 제공한다.
• 논문은 향후 로봇 공학의 규제 프레임워크에서 공식 승인된 위험 지표의 사용을 의무화할 수 있으며, 이때 왜곡 위험 지표가 표준화의 강력한 후보가 될 것임을 제안한다.