[論文レビュー] Detecting Road Obstacles by Erasing Them

Krzysztof Lis, Sina Honari+2 more|arXiv (Cornell University)|Dec 25, 2020

Advanced Neural Network Applications被引用数 11

ひとこと要約

本論文は、ドライブ可能な道路領域を補完して障害物を消去し、元の画像と補完後の画像の差異を特定する差異ネットワークを用いる、新しい単眼手法を提案する。Cityscapesからの合成データのみで学習されたモデルは、実世界の障害物や多様な道路表面に効果的に一般化でき、追加のアノテーションを必要とせず、ベンチマークデータセットで先行手法を上回る性能を示す。

ABSTRACT

Vehicles can encounter a myriad of obstacles on the road, and it is impossible to record them all beforehand to train a detector. Instead, we select image patches and inpaint them with the surrounding road texture, which tends to remove obstacles from those patches. We then use a network trained to recognize discrepancies between the original patch and the inpainted one, which signals an erased obstacle.

研究の動機と目的

• 訓練データに収集・アノテートすることが現実的でないレアな予期せぬ道路障害物を検出する課題に対処すること。
• 再トレーニングを必要とせず、未確認の障害物および道路テクスチャに一般化可能な、1枚の画像に依存する単眼障害物検出システムを開発すること。
• 画像補完を用いた合成データ拡張により、障害物検出における大規模なアノテート済みデータセットへの依存を排除すること。
• 実世界の走行シナリオにおける道路テクスチャの変動、マークイング、透視効果に対してより高い耐性を向上させること。

提案手法

• 本手法はスライディングウィンドウアプローチを用い、周囲のピクセルからのコンテキストを利用してドライブ可能な道路領域を補完し、障害物を効果的に消去する。
• 差異ネットワークを訓練して、元の画像パッチとその補完版を比較し、障害物を示す顕著な差異領域を強調する。
• 合成障害物データは、Cityscapesのアノテート済みオブジェクト（例：歩行者、標識）を道路表面に再配置することで生成され、未確認の障害物をシミュレートする。
• 差異ネットワークは、真の障害物と自然なテクスチャの変動や再構築アーチファクトを区別できるように、コントラスト損失を用いて訓練される。
• 本システムは、ドライブ可能な領域内にのみ関係する障害物が対象であるという仮定に基づき、真値または市販の道路セグメンテーションを用いて局所化する。
• 性能評価は、新規に作成されたベンチマークデータセットおよびFishyscapes Lost & Foundベンチマークを用い、単一のRGBカメラによる推論が行われる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、アノテート済みの障害物データが一切ない状況でも、1枚のRGB画像のみを用いて未確認の道路障害物を検出可能か？
• RQ2 画像補完に続く差異学習により、真の障害物と自然な道路テクスチャの変動やマークイングを効果的に区別できるか？
• RQ3 Cityscapesからの合成障害物データのみで学習されたモデルは、新しい障害物と道路表面を有する実世界のシナリオに一般化可能か？
• RQ4 既存の単眼異常検出技術と比較して、本手法の検出精度および耐性はどのように向上しているか？

主な発見

• 提案手法は、Fishyscapes Lost & Foundベンチマークで既存の単眼障害物検出器を上回り、未確認の障害物に対する強力なゼロショット一般化性能を示した。
• 新しく収集されたデータセット（異常なオブジェクトと多様な道路表面を含む）でも、最先端の性能を達成し、分布シフトに対する耐性を確認した。
• アブレーションスタディの結果、補完と差異ネットワークの両方が不可欠であることが示された。両方を除去すると性能が著しく低下し、特に「補完なし」バリアントが最も悪い性能を示した。
• 生成対戦型ネットワーク（GANベース）を用いたリシントーシス（Resynthesis）バリアントは、本手法よりも性能が悪く、コンテキストに配慮した補完が障害物検出により効果的であることを示唆した。
• 不完全な道路セグメンテーションを使用しても本手法は有効であり、ドライブ可能な領域検出の誤りに対しても耐性があることが示された。
• A100で1フレームあたり6.7秒の高い計算コストであるが、未ラベルの動画から効果的に障害物を抽出でき、将来的な教師あり学習に活用可能である。