[論文レビュー] Task-Driven Out-of-Distribution Detection with Statistical Guarantees for Robot Learning.

Alec Farid, Sushant Veer+1 more|arXiv (Cornell University)|Jun 25, 2021

Machine Learning and Algorithms参考文献 44被引用数 6

ひとこと要約

本稿では、ロボット学習におけるタスク駆動型の分布外（OOD）検出手法を提案する。この手法はPAC-Bayes理論を活用し、性能の上限に関する統計的保証を提供する。推論中にこれらの境界の違反を検出することで、OOD状況を信頼性を持って特定する。把持およびドローン航行タスクにおいて、数回の試行で堅牢なOOD検出を実現した。

ABSTRACT

Our goal is to perform out-of-distribution (OOD) detection, i.e., to detect when a robot is operating in environments that are drawn from a different distribution than the environments used to train the robot. We leverage Probably Approximately Correct (PAC)-Bayes theory in order to train a policy with a guaranteed bound on performance on the training distribution. Our key idea for OOD detection then relies on the following intuition: violation of the performance bound on test environments provides evidence that the robot is operating OOD. We formalize this via statistical techniques based on p-values and concentration inequalities. The resulting approach (i) provides guaranteed confidence bounds on OOD detection, and (ii) is task-driven and sensitive only to changes that impact the robot's performance. We demonstrate our approach on a simulated example of grasping objects with unfamiliar poses or shapes. We also present both simulation and hardware experiments for a drone performing vision-based obstacle avoidance in unfamiliar environments (including wind disturbances and different obstacle densities). Our examples demonstrate that we can perform task-driven OOD detection within just a handful of trials. Comparisons with baselines also demonstrate the advantages of our approach in terms of providing statistical guarantees and being insensitive to task-irrelevant distribution shifts.

研究の動機と目的

• ロボットがトレーニング分布外の環境で動作している状況を検出する課題に対処すること。これは、安全性と性能に悪影響を及ぼす可能性がある。
• OOD検出に統計的信頼区間を提供する手法を開発し、実世界への展開における信頼性を確保すること。
• 検出メカニズムをタスク駆動とする。これにより、タスクの性能に影響を及ぼす分布シフトにのみ反応し、関係のない変化には反応しないようにすること。
• 実世界のロボット学習における効率を高めるために、最小限のデプロイ試行でOOD検出を可能にすること。
• 照明の変化や風の影響といったタスクに無関係な分布シフトによる誤検出（偽陽性）を低減する。具体的には、性能の低下にのみ注目することで実現する。

提案手法

• PAC-Bayes理論を適用し、トレーニング分布上での性能に理論的保証を備えたポリシーを学習する。
• 性能の境界を統計的閾値として用いる。推論中にこの境界が破られる場合、OOD動作の可能性を示す。
• p値と濃縮不等式を用いてOOD検出を形式化し、分布シフトの検出における信頼性を定量化する。
• 推論中にポリシーの性能をリアルタイムでモニタリングし、PAC-Bayes境界と比較して異常を検出する。
• 検出メカニズムを、タスク固有の性能に影響を及ぼす分布シフトにのみ感受性を持つように設計する。これにより、関係のない環境変化（例：風の変化）には反応しない。
• 検証のために、シミュレート環境および実世界のロボットシステムにこの手法を統合し、把持およびビジョンベースの障害物回避タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayes理論を用いることで、ロボット学習における分布外検出に統計的信頼区間を提供できるか？
• RQ2 少数の推論試行で、この手法がOOD状況をどれほど効果的に検出できるか？
• RQ3 風や照明の変化といったタスクに無関係な分布シフトに対して、検出はどの程度感受性を示すか？
• RQ4 信頼性とタスクの関連性という観点から、既存のOOD検出ベースラインと比較して、この手法はどのように優れているか？
• RQ5 視覚ベースの障害物回避のような複雑な実世界のロボットタスクにおいて、OOD状態を検出できるか？

主な発見

• 本手法は、分布シフトが微細であったりタスクに無関係であったりする状況においても、統計的信頼性を伴ってOOD環境を検出できた。
• OOD検出はわずか数回の推論試行で達成され、高いサンプル効率を示した。
• 風の影響や障害物密度の変化といったタスクに無関係な分布シフトに対しても、偽陽性率が低く抑えられた。
• ベースラインと比較した結果、本手法はより強い統計的保証を提供するとともに、性能に影響を及ぼす変化にのみ感受性を示した。
• 本手法は、ロボットグリッピングやビジョンベースのドローンナビゲーションを含む、さまざまなロボットタスクに一般化可能であった。
• p値と濃縮不等式の使用により、デプロイ時における分布シフトの信頼性の高い、定量的検出が可能になった。