[論文レビュー] Affordance Learning In Direct Perception for Autonomous Driving

Chen Sun, Jean Marie Uwabeza Vianney+1 more|arXiv (Cornell University)|Mar 20, 2019

Autonomous Vehicle Technology and Safety参考文献 23被引用数 8

ひとこと要約

本論文は、Google Street Viewの画像とOpenStreetMapのベクターデータから学習するカスタムCNNを用いた自律走行の直接的知覚アプローチを提案する。この手法により、事前学習モデルと同等の性能を、訓練データの約1/3の量で達成した。本手法は、多様な地理的地域や走行状況において優れた汎化性能を示し、低コストで効率的なデータ収集とラベリングを可能にする。

ABSTRACT

Recent development in autonomous driving involves high-level computer vision and detailed road scene understanding. Today, most autonomous vehicles are using mediated perception approach for path planning and control, which highly rely on high-definition 3D maps and real time sensors. Recent research efforts aim to substitute the massive HD maps with coarse road attributes. In this paper, we follow the direct perception based method to train a deep neural network for affordance learning in autonomous driving. Our goal in this work is to develop the affordance learning model based on freely available Google Street View panoramas and Open Street Map road vector attributes. Driving scene understanding can be achieved by learning affordances from the images captured by car-mounted cameras. Such scene understanding by learning affordances may be useful for corroborating base maps such as HD maps so that the required data storage space is minimized and available for processing in real time. We compare capability in road attribute identification between human volunteers and our model by experimental evaluation. Our results indicate that this method could act as a cheaper way for training data collection in autonomous driving. The cross validation results also indicate the effectiveness of our model.

研究の動機と目的

• 高価な高精細地図に依存せずに、低コストでスケーラブルな自律走行知覚モデルの訓練手法を開発すること。
• Google Street ViewとOpenStreetMapといった無料の地理空間データを活用することで、データ収集とラベリングの効率を向上させること。
• 異なる地理的地域や走行状況において、アフォーダンス学習モデルの汎化能力を検証すること。
• 静的なラベルではなく、文脈に応じたシーン理解に基づいて、ドライブアフォーダンスの定義を洗練させること。
• 事前学習されていないCNNでも、大規模データセットで学習された最先端のモデルと同等の性能を達成できることを示すこと。

提案手法

• Google Street Viewのパノラマ画像とOpenStreetMapのベクターデータを用いて、手動ラベリングを一切行わず、自動的に訓練データをラベル付けする。
• VGG11とAlexNetを基盤としたカスタムCNNアーキテクチャを設計し、ランダム初期化から開始して、単一の前方画像から道路のアフォーダンスを検出するように訓練する。
• KITTIデータセットの画像は元来モデルの入力サイズと互換性がないため、歪みを軽減するための新しいリサイズ要因（RF）を適用する。
• クロスバリデーションとマルチリージョンテスト（カナダ・ウォータールー、カリフォルニア、ヨーロッパ）を実施し、モデルの汎化性とロバストネスを評価する。
• 走行状況に応じた文脈的理解に基づき、道路セグメント、自転車レーン、交通関連特徴などを区別するなど、アフォーダンスの定義を洗練する。
• 新規地理的データに対する自動ラベリングパイプラインの有効性を検証し、元のサンフランシスコデータセットを超えた信頼性を確認する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みImageNetやPlacesモデルを一切使用せずに、カスタムトレーニングされたCNNが競争力のあるアフォーダンス予測性能を達成できるか？
• RQ2 Google Street ViewとOpenStreetMapを用いた自動ラベリングパイプラインが、異なる地理的地域でどの程度効果的か？
• RQ3 訓練済みモデルが、ヨーロッパで収集されたKITTIデータセットのような未学習の走行環境にどの程度汎化できるか？
• RQ4 リサイズによる入力画像の歪みが、車両の進行方向角予測の回帰性能にどのように影響するか？
• RQ5 静的地理空間データ（OSM）とパノラマ画像（GSV）が、建設中や悪天候などの動的交通状況をどの程度正確に捉えられていないか？

主な発見

• 提案されたカスタムCNNは、ランダム初期化から開始して訓練画像数を1/3に抑えても、事前学習済み重みを用いたモデルと同等の性能を達成した。
• モデルは異なる地理的地域にわたって強く汎化しており、カナダ・ウォータールー、米国・サンフランシスコ、ヨーロッパのKITTIデータから得たデータに対しても、アフォーダンスを正しく予測した。
• リサイズ要因（RF）の適用により、KITTI画像における進行方向角予測の正確性が顕著に向上し、歪みに起因する誤差が低減された。
• 自動ラベリングパイプラインは、新規地理的文脈（ウォータールー）においても有効であることが検証され、元のサンフランシスコデータセットを超えた堅牢性が確認された。
• ラベリング精度の制限要因は、GSVデータのGPS/IMU位置決め誤差および、信号遮断やレコードの古さが顕著な都市部におけるOSMデータの不整合性に起因している。
• 道路工事や悪天候といった動的変化は、静的GSVおよびOSMデータでは捉えられておらず、今後のモデルでは動的データ統合の必要性が浮き彫りになった。