[논문 리뷰] Sample-Efficient Safety Assurances using Conformal Prediction

Rachel Luo, Shengjia Zhao외 5명|arXiv (Cornell University)|2021. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 로봇 공학에서 경고 시스템을 조정하기 위해 콫라프탈 예측(conformal prediction)을 사용하는 샘플 효율적인 프레임워크를 제안한다. 이는 최소한 1/ε 개의 데이터 포인트로도 증명 가능한 낮은 가짜 음성 비율(예: ≤5%)을 보장한다. 시뮬레이터와 콕라프탈 예측을 조합함으로써, 정확한 모델이나 광범위한 데이터가 필요 없이도 안전성을 보장할 수 있으며, 주행 및 집게 잡기 응용 분야에서 낮은 가짜 양성 비율을 유지한다.

ABSTRACT

When deploying machine learning models in high-stakes robotics applications, the ability to detect unsafe situations is crucial. Early warning systems can provide alerts when an unsafe situation is imminent (in the absence of corrective action). To reliably improve safety, these warning systems should have a provable false negative rate; i.e. of the situations that are unsafe, fewer than $ε$ will occur without an alert. In this work, we present a framework that combines a statistical inference technique known as conformal prediction with a simulator of robot/environment dynamics, in order to tune warning systems to provably achieve an $ε$ false negative rate using as few as $1/ε$ data points. We apply our framework to a driver warning system and a robotic grasping application, and empirically demonstrate guaranteed false negative rate while also observing low false detection (positive) rate.

연구 동기 및 목표

• 안전이 중요한 로봇 공학 응용 분야에서 최소한의 데이터로 낮은 가짜 음성 비율을 보장하는 방법을 개발하는 것.
• 자율 주행 및 로봇 집게 잡기와 같은 고위험 로봇 응용 분야에서 위험한 상황에 대한 신뢰할 수 있는 조기 경고 시스템을 제공하는 것.
• 위험한 상황에 대해 O(1/ε) 개의 데이터 포인트만으로도 증명 가능한 성능 보장을 제공하는 것(예: ≤ε 가짜 음성).
• 비용이 많이 들고 비현실적인 실패 이벤트의 대규모 데이터 수집에 대한 의존도를 줄이는 것.
• 대체 안전 점수나 시뮬레이터 모델이 정확하지 않거나 노이즈가 있을 경우에도 강건성을 확보하는 것.

제안 방법

• 프레임워크는 로봇/환경 역학의 시뮬레이터 기반으로 콕라프탈 예측을 사용해 경고 시스템을 校정한다.
• 학습 데이터와 테스트 데이터 간의 교환 가능성(exchangeability)을 가정함으로써, 약간의 i.i.d.-유사 조건 하에서도 통계적 보장을 가능하게 한다.
• 상태-행동 쌍의 안전성을 순위 매기는 데 사용되는 대체 안전 점수 g(Y, u)를 사용하며, 이는 정확하지 않거나 노이즈가 있을 수 있다.
• 대체 점수에 대해 콕라프탈 예측을 적용하여, 높은 신뢰도로 가짜 음성 비율을 제한하는 예측 집합을 생성한다.
• 교환 가능성과 콕라프탈 예측의 성질을 이용해 이론적 보장을 도출하며, 이로써 ε 이하의 가짜 음성 수를 보장한다.
• 이 방법은 주행 경고 시스템과 로봇 집게 잡기 작업 양쪽에 적용되었으며, 다양한 시뮬레이터 정확도에서의 실험적 검증이 이루어졌다.

실험 결과

연구 질문

• RQ1 오직 O(1/ε) 개의 데이터 포인트로만 사용하여, 이론적으로 증명 가능한 가짜 음성 비율 ε을 달성할 수 있는 경고 시스템이 가능한가?
• RQ2 대체 안전 점수나 시뮬레이터 모델이 정확하지 않거나 노이즈가 있을 경우, 이 방법의 성능은 어떻게 되는가?
• RQ3 예측 모델이 정보가 없거나 무작위일 경우에도 이 프레임워크가 안전 보장을 유지할 수 있는가?
• RQ4 모델 품질 수준이 변화함에 따라 가짜 음성 비율과 가짜 양성 비율 사이의 상충 관계는 어떻게 되는가?
• RQ5 실패 데이터가 제한된 실제 로봇 공학 응용 분야에 이 방법을 적용할 수 있는가?

주요 결과

• 모든 테스트 시나리오에서 가짜 음성 비율이 이론적 한계인 ε 이내로 유지되며, 위험한 상황에 대해 단지 30개의 데이터 포인트만으로도 이를 달성한다.
• 대체 안전 점수가 유용할 경우, 가짜 양성 비율이 합리적으로 낮게 유지된다(예: 0.2 이하), 즉 불필요한 경고가 적다는 것을 의미한다.
• 대체 안전 점수가 균일한 무작위 노이즈로 대체되더라도, 가짜 음성 비율이 이론적 한계 내에 유지되며, 이는 방법의 강건성을 검증한다.
• 대체 안전 점수의 품질이 악화됨에 따라(예: 노이즈 추가) 가짜 양성 비율은 증가하지만, 가짜 음성 비율은 증명 가능한 한계 내에 유지된다.
• 시뮬레이터나 예측 모델의 정확도에 관계없이 이론적으로 증명 가능한 안전 보장을 달성함으로써, 강력한 강건성을 입증한다.
• 실험 결과는 이 프레임워크가 최소한의 실패 데이터로 자율 주행 및 로봇 집게 잡기 응용 분야에서 효과적이라는 것을 확인한다.