[論文レビュー] A Baseline for the Commands For Autonomous Vehicles Challenge

Simon Vandenhende, Thierry Deruyttere+1 more|arXiv (Cornell University)|Apr 20, 2020

Autonomous Vehicle Technology and Safety参考文献 6被引用数 8

ひとこと要約

この論文は、自己走行車における自由形式の自然言語オブジェクト参照を、画像コマンドグランドイングを用いて扱う『自律走行車のためのコマンド（C4AV）』チャレンジの、PyTorchベースのベースラインモデルを提示する。中心部を微調整したCenterNetから得られる領域提案を用い、領域をResNet-18で、コマンドを双方向GRUで符号化し、正例と負例の両方の領域提案の損失を別々に平均化することでクラスの不均衡を緩和する二値交差エントロピー損失を用いて学習を行う。これにより、検証セットで43.5%のAP50を達成した。

ABSTRACT

The Commands For Autonomous Vehicles (C4AV) challenge requires participants to solve an object referral task in a real-world setting. More specifically, we consider a scenario where a passenger can pass free-form natural language commands to a self-driving car. This problem is particularly challenging, as the language is much less constrained compared to existing benchmarks, and object references are often implicit. The challenge is based on the recent exttt{Talk2Car} dataset. This document provides a technical overview of a model that we released to help participants get started in the competition. The code can be found at https://github.com/talk2car/Talk2Car.

研究の動機と目的

• 自由形式の自然言語コマンドを実世界のドライブシーン内の特定のオブジェクトにグランドイングする『自律走行車のためのコマンド（C4AV）』チャレンジの、強力で再現可能なベースラインを提供すること。
• オブジェクト参照がしばしば文脈依存的で明示的な名前が付かない、自律走行車環境における非明示的かつ制約のない言語的参照の課題に対処すること。
• 完全でドキュメント化されたモデル実装とトレーニング・インferencingパイプラインを公開することで、参加者が迅速にスタートできるようにすること。
• 正例と負例の領域提案の間の損失のバランスを取ることで、負例に偏る傾向を軽減し、オブジェクトグランドイングの堅牢性を向上させること。

提案手法

• 入力画像から微調整済みのCenterNetモデルを用いて領域提案を抽出し、1枚あたり64の提案を得る。重複は非最大抑制（NMS）により除去される。
• 信頼度スコアが最も高い上位16の領域提案が、グランドイングのための候補オブジェクト領域として選択される。
• 画像特徴は事前学習済みのResNet-18を用いて抽出され、自然言語コマンドは双方向GRUネットワークによって符号化される。
• L2正規化と線形再スケーリングにより、画像領域埋め込みとコマンド埋め込みの間の特徴相関が計算され、グランドイングスコアとして使用される。スケールは[0,1]にマップされる。
• 正例（IoU ≥ 0.5）と負例（IoU < 0.5）の両方のボックスに対して、それぞれ独立して損失を平均化することで、クラスの不均衡を防ぐ二値交差エントロピー損失を用いてモデルを学習する。
• SGDにネステロフモーメンタム（0.9）を用い、初期の学習率は0.01で、4エポックごとに10倍に減衰させる。バッチサイズは18、重み減衰は1e-4で、1枚のNVIDIA 1080 Ti GPUで10エポック分学習する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、実世界の自律走行車のシーンにおいて、自由形式の自然言語コマンドを特定のオブジェクトに効果的にグランドイングできるか？
• RQ2 ドライブの文脈において、画像と制約のない言語記述との間のクロスモーダルグランドイングに適した、堅牢で効率的なベースラインアーキテクチャは何か？
• RQ3 トレーニング中に正例と負例の領域提案の間のクラスの不均衡をどのように緩和できるか？モデルの一般化性能を向上させるために。
• RQ4 C4AVベンチマークにおいて、市販の画像および言語符号化器の単純だが効果的な統合により、どの程度のパフォーマンスが達成可能か？

主な発見

• ベースラインモデルは、C4AV検証セットで43.5%の平均平均精度（IoU=0.5のときのAP50）を達成し、コンテスト参加者にとって強力な出発点を提供した。
• 正例と負例の損失項を別々に平均化することで、負例予測へのバイアスが効果的に軽減され、モデルの収束性と性能が向上した。
• 1枚のNVIDIA 1080 Ti GPUでわずか2時間で学習が完了し、迅速なプロトタイピングと実験にアクセス可能である。
• Talk2Carデータセット上でCenterNetを微調整することで、1枚あたり64の高品質な領域提案が得られ、効果的なグランドイングに不可欠である。
• 視覚的特徴にResNet-18、言語符号化に双方向GRUを組み合わせることで、効果的なクロスモーダル相関学習が可能になった。
• コードベース（領域提案とモデル重みを含む）は https://github.com/talk2car/Talk2Car で公開されており、完全な再現性とコミュニティによる拡張が可能である。