[論文レビュー] Sample-Efficient Safety Assurances using Conformal Prediction

Rachel Luo, Shengjia Zhao+5 more|arXiv (Cornell University)|Sep 28, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用数 4

ひとこと要約

本論文は、ロボティクスにおける警告システムのチューニングに保証可能な低い偽陰性率（例：≤5%）を達成するための、データ効率の高いフレームワークを提案している。このフレームワークは、最小限のデータ（1/εポイント）で動作し、シミュレータと結合したコンフォーマル予測を用いることで、正確なモデルや大量のデータを必要とせずに安全性を保証する。ドライブと grasping 応用の両方で偽陽性率が低く保たれる。

ABSTRACT

When deploying machine learning models in high-stakes robotics applications, the ability to detect unsafe situations is crucial. Early warning systems can provide alerts when an unsafe situation is imminent (in the absence of corrective action). To reliably improve safety, these warning systems should have a provable false negative rate; i.e. of the situations that are unsafe, fewer than $ε$ will occur without an alert. In this work, we present a framework that combines a statistical inference technique known as conformal prediction with a simulator of robot/environment dynamics, in order to tune warning systems to provably achieve an $ε$ false negative rate using as few as $1/ε$ data points. We apply our framework to a driver warning system and a robotic grasping application, and empirically demonstrate guaranteed false negative rate while also observing low false detection (positive) rate.

研究の動機と目的

• 安全なロボティクス応用において、最小限のデータで偽陰性率を低く保証する手法を開発すること。
• 自律走行やロボットグリッピングなどの高リスクなロボティクス分野において、不安全な状況の信頼性の高い早期警告システムを可能にすること。
• 危険な状況のための O(1/ε) データポイントのみで、保証可能な性能保証（例：≤ε 偽陰性）を提供すること。
• 失敗事象の大量収集に依存するのを減らし、コストが高く不切実な場合の依存を軽減すること。
• 代わりに、代替的安全スコアやシミュレータモデルが不正確またはノイズを含んでも、その堅牢性を保証すること。

提案手法

• フレームワークは、ロボット／環境ダイナミクスのシミュレータに基づいて、コンフォーマル予測を用いて警告システムをキャリブレーションする。
• 訓練データとテストデータの交換可能性を仮定することで、やや弱い i.i.d.-に類似した条件下でも統計的保証が得られる。
• 状態・行動ペアの安全性を順位づけるために、不完全またはノイズを含む可能性のある代替的安全スコア g(Y, u) を使用する。
• 代替スコアにコンフォーマル予測を適用し、偽陰性率が高信頼性で境界づけられた予測集合を生成する。
• 交換可能性とコンフォーマル予測の性質を用いて理論的保証を導出し、偽陰性が ε 未満に抑えられることを保証する。
• 本手法はドライバーウォーニングシステムおよびロボットグリッピングタスクの両方へ適用され、さまざまなシミュレータの正確さの下で実証的に検証された。

実験結果

リサーチクエスチョン

• RQ1 危険な状況のための O(1/ε) データポイントのみで、理論的に保証された偽陰性率 ε を達成できる警告システムは構築可能か？
• RQ2 代替的安全スコアやシミュレータモデルが不正確またはノイズを含んでも、この手法はどのように動作するか？
• RQ3 予測モデルが情報がなく、あるいは完全にランダムであっても、このフレームワークは安全保証を維持できるか？
• RQ4 モデル品質の変動に伴い、偽陰性率と偽陽性率のトレードオフはどのように変化するか？
• RQ5 限られた故障データしか得られない実世界のロボティクス応用に、この手法を適用可能か？

主な発見

• 危険な状況のためのデータがたった30ポイントしかなくとも、すべてのテストシナリオにおいて偽陰性率が理論的境界 ε 以内に保たれている。
• 代替的安全スコアが有用な場合、偽陽性率は妥当に低い（例：0.2未満）水準を維持しており、不要なアラートが少ないことが示された。
• 代替的安全スコアを一様ランダムノイズに置き換えても、偽陰性率は理論的境界内に保たれ、この手法の堅牢性が裏付けられた。
• 代替的安全スコアの品質が低下する（例：ノイズを追加する）につれて、偽陽性率は上昇するが、偽陰性率は理論的に境界づけられたまま保たれる。
• シミュレータの正確性や予測モデルの正確性にかかわらず、保証可能な安全保証が達成されることを示し、強い堅牢性を示した。
• 実証結果から、このフレームワークが自律走行およびロボットグリッピング応用の両方で、限られた故障データのもとでも有効であることが確認された。