[論文レビュー] Demo Abstract: Real-Time Out-of-Distribution Detection on a Mobile Robot

Michael Yuhas, Arvind Easwaran|arXiv (Cornell University)|Nov 15, 2022

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文では、YOLOv7 tinyオブジェクト検出器と変分自己符号化器ベースのOOD検出器を用いたリアルタイムの分布外（OOD）検出システムを、Jetson Nano搭載のDuckiebotに実装した。このシステムは800ミリ秒未塔でOODサンプル（例：模擬的な雪の降り）を正しく検出し、誤検出なしに緊急ブレーキを発動させ、共有計算負荷下でも走行案内とオブジェクト検出のリアルタイム性能を維持した。

ABSTRACT

In a cyber-physical system such as an autonomous vehicle (AV), machine learning (ML) models can be used to navigate and identify objects that may interfere with the vehicle's operation. However, ML models are unlikely to make accurate decisions when presented with data outside their training distribution. Out-of-distribution (OOD) detection can act as a safety monitor for ML models by identifying such samples at run time. However, in safety critical systems like AVs, OOD detection needs to satisfy real-time constraints in addition to functional requirements. In this demonstration, we use a mobile robot as a surrogate for an AV and use an OOD detector to identify potentially hazardous samples. The robot navigates a miniature town using image data and a YOLO object detection network. We show that our OOD detector is capable of identifying OOD images in real-time on an embedded platform concurrently performing object detection and lane following. We also show that it can be used to successfully stop the vehicle in the presence of unknown, novel samples.

研究の動機と目的

• 自律システム（モバイルロボットなど）における機械学習モデルが分布外（OOD）データで失敗するリスクを是正すること。
• リアルタイム制約下で、他の重要な制御タスクに影響を与えることなく、埋め込みハードウェア上でリアルタイムに動作するOOD検出システムを開発すること。
• 模擬的な雪の降りのような新しいOOD状態に対して、OOD検出が衝突の前に対応して緊急ブレーキを発動できることを検証すること。
• OOD検出、オブジェクト検出、走行案内の同時実行が応答時間に与える影響を評価すること。
• 軽量で独立してデプロイ可能なOOD検出器を物理的ロボットプラットフォーム上でリアルタイムのセーフティモニタとして実現可能であることを示すこと。

提案手法

• 自律車両の代替として、Jetson Nano 2GBおよびPREEMPT_RTカーネルを搭載したDuckiebotを用いた。
• システムは3つの同時実行タスクを実行する：従来のコンピュータビジョンによる走行案内、量子化されたYOLOv7 tinyモデルを用いたオブジェクト検出、および光流特徴量を入力とする変分自己符号化器に基づくOOD検出。
• 光流マトリクスは、Farnebäckアルゴリズムを用いて連続画像から生成され、OOD検出器の入力として使用された。
• 遺伝的アルゴリズムを用いて、入力サイズ、フロー数、補間手法などの前処理パラメータを最適化し、F1スコアを最大化するとともに推論時間を最小化した。
• 最終的なOOD検出器は、60x80の入力サイズ、10枚の光流フレーム、バイリニア補間を採用し、平均推論時間は53.3msを達成した。
• すべてのモデルは動的量子化を用いて8ビットに量子化され、AArch64上でQNNPACKバックエンドを介して実行された。

実験結果

リサーチクエスチョン

• RQ1 埋め込みプラットフォームにOOD検出器をデプロイ可能であり、他のセーフティクリティカルタスクとリソースを共有しながらリアルタイムのデッドラインを満たすことができるか？
• RQ2 模擬的な雪の降りのような新しいOOD状態に対して、OOD検出器が正しく緊急ブレーキを発動できるか？
• RQ3 OOD検出、オブジェクト検出、走行案内の同時実行が、特にオブジェクト検出タスクの応答時間にどの程度悪影響を及ぼすか？
• RQ4 未観測の環境的擾乱を検出する際、OOD検出器が低い誤検出率を維持できるか？
• RQ5 入力表現（例：光流）やモデル構成の選択が、検出精度と推論速度のトレードオフにどのように影響するか？

主な発見

• OOD検出器は平均推論時間53.3ms、最大応答時間800ms未塔を達成し、リアルタイム制約を満たした。
• 雪の模擬状態を表すためのコンフェッティを用いた実験で、OOD検出器は正しく緊急ブレーキを発動させ、OODサンプルの検出が有効に行われたことを示した。
• OOD状態が存在しない状況では、誤検出が発生せず、トラックに沿った安全な走行を維持した。
• 3つのタスクが同時に実行されている間でも、走行案内タスクはリアルタイムのデッドラインを守った。
• オブジェクト検出タスクは、高負荷のシステム利用率とメモリスワッピングの影響により、顕著な性能劣化（応答時間の増加）を示した。
• 遺伝的アルゴリズムは、F1スコア0.97を達成しながらも低推論時間を維持する設定（60x80入力サイズ、10フレームのフロー、バイリニア補間）を同定した。