[論文レビュー] A System-Level View on Out-of-Distribution Data in Robotics

Rohan Sinha, Apoorva Sharma+7 more|arXiv (Cornell University)|Dec 28, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、ロボット工学における分布外（OOD）データについて、システム全体の視点を主張している。OODの耐性は、個々のモジュールに限定して評価・強化するのでなく、認識、予測、計画、制御といった自律性スタック全体にわたって評価・強化されるべきである。本稿は、リアルタイム、エピソード単位、データライフサイクルのスケールにおける主な課題を特定し、オープンワールドでのロボット運用における信頼性を向上させる包括的なフレームワークを提案する。

ABSTRACT

When testing conditions differ from those represented in training data, so-called out-of-distribution (OOD) inputs can mar the reliability of learned components in the modern robot autonomy stack. Therefore, coping with OOD data is an important challenge on the path towards trustworthy learning-enabled open-world autonomy. In this paper, we aim to demystify the topic of OOD data and its associated challenges in the context of data-driven robotic systems, drawing connections to emerging paradigms in the ML community that study the effect of OOD data on learned models in isolation. We argue that as roboticists, we should reason about the overall extit{system-level} competence of a robot as it operates in OOD conditions. We highlight key research questions around this system-level view of OOD problems to guide future research toward safe and reliable learning-enabled autonomy.

研究の動機と目的

• 学習を活用するロボットシステムにおける分布外（OOD）データの重要な課題に取り組むこと。これは、実世界の運用環境がトレーニングデータとは異なる場合に顕著である。
• OODの耐性は、個々のモジュールを独立して最適化することで解決できない。むしろ、全スタックにわたるシステムレベルの視点が不可欠であることを強調すること。
• リアルタイム意思決定、エピソード単位の環境相互作用、長期的なデータライフサイクル管理の3つの重要な時間スケールにわたり、主な研究ギャップを特定すること。
• 問題をモデル固有の課題としてではなく、安全でオープンワールドでのロボット自律走行に不可欠なシステム全体の信頼性課題として位置づけること。
• 自律性スタックおよびデータライフサイクルにわたる具体的かつ実行可能な研究課題を提示することで、今後の研究を喚起すること。

提案手法

• OOD入力が認識、予測、計画、制御モジュールにわたってどのように伝播し、性能を低下させるかを、システムレベルの視点から分析する。
• 分析を具体化するために、自律ドローン配送および家庭内ロボット操作という2つの実世界のロボットユースケースを事例として用いる。
• OODの耐性は、単にモデルの精度や不確実性推定の孤立した指標ではなく、クローズドループのシステム性能を通じて評価すべきであると提唱する。
• メタラーニング、マルチタスク学習、継続的学習といった機械学習分野のトレンドを統合し、分布シフトにわたる一般化性能の向上を図る。
• システムレベルでのOOD性能の再現可能な評価を可能にするために、ホールドアウトされたOODシナリオを備えたコミュニティベンチマークの必要性を強調する。
• 限られたデバイス内ストレージとレアな障害事象に直面する状況を考慮し、データ効率的でアクティブな学習および選択的データ保持戦略の導入を提言する。

実験結果

リサーチクエスチョン

• RQ1 OODデータは、リアルタイム動作における認識から低レベル制御に至るまで、自律性スタック全体の信頼性にどのように影響を与えるか？
• RQ2 運用後にタスクの分布が変化する状況下でも、多様で未知の環境においてエピソード単位の相互作用を通じて一貫した性能を維持するにはどうすればよいか？
• RQ3 限られたストレージ容量とレアな障害事象を考慮すると、長期的なシステムの耐性を高めるために、運用中にどのようなデータ選択および保持戦略を採用すべきか？
• RQ4 メタラーニングとマルチタスク学習は、運用中にOOD状態に迅速に適応するのにどのように活用できるか？
• RQ5 スケーラブルで再現可能にOOD性能を評価できるようにするため、どのようなコミュニティベンチマークとシミュレーションプラットフォームが必要か？

主な発見

• OODの耐性は、モデルレベルの問題にとどまらず、認識、予測、計画、制御の各コンponentsにわたるシステム全体の課題である。
• タスク全体の平均性能を最適化するだけのアプローチでは、まれな分布やシフトした分布において性能が著しく低下する可能性がある。これにより、分布に頑健なトレーニングの必要性が浮き彫りになる。
• リアルタイムでのOOD検出と緩和には、認識や不確実性推定にとどまらず、自律性スタック全体に統合されたメカニズムが必要である。
• 特に選択的データ保持とアクティブな学習を含むデータライフサイクル管理は、リソース制限のあるロボットにおける長期的適応に不可欠である。
• システムレベルでのOOD耐性を評価するための進展を加速させるために、ホールドアウトされたOODシナリオを備えたコミュニティベンチマークは不可欠である。
• 既存のML技術であるメタラーニングやマルチタスク学習は、OOD一般化の向上に有効であるが、ロボットシステムへの適切な統合が求められる。