[論文レビュー] Domain Adaptation with Joint Learning for Generic, Optical Car Part Recognition and Detection Systems (Go-CaRD)

Lukas Stappen, Xinchen Du+3 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 43被引用数 4

ひとこと要約

本稿では、実世界の多様な自動車環境において性能を向上させるために、共同学習とドメイン適応を組み合わせた汎用的光学的自動車部品認識・検出システムであるGo-CaRDを提案する。人間-車両相互作用を含む新規で公開可能なMuSe-CAR-Partデータセットを用いて訓練することで、認識では93.67%のF1スコア、検出では63.01%のmAPを達成し、標準的なファインチューニングや非教師ありドメイン適応を上回る5%以上の絶対的向上を、テストセットにおいて示した。

ABSTRACT

Systems for the automatic recognition and detection of automotive parts are crucial in several emerging research areas in the development of intelligent vehicles. They enable, for example, the detection and modelling of interactions between human and the vehicle. In this paper, we quantitatively and qualitatively explore the efficacy of deep learning architectures for the classification and localisation of 29 interior and exterior vehicle regions on three novel datasets. Furthermore, we experiment with joint and transfer learning approaches across datasets and point out potential applications of our systems. Our best network architecture achieves an F1 score of 93.67 % for recognition, while our best localisation approach utilising state-of-the-art backbone networks achieve a mAP of 63.01 % for detection. The MuSe-CAR-Part dataset, which is based on a large variety of human-car interactions in videos, the weights of the best models, and the code is publicly available to academic parties for benchmarking and future research.

研究の動機と目的

• 実世界の変動する条件下で、29種類の内装・外装部品の光学的認識と検出を対象とする汎用的で頑健なシステムの開発。
• 動的で人間が関与する環境における細分化された車両部品検出のためのデータセットとモデルの不足に応えること。
• トレーニング中にソースドメイン（人間なし）とターゲットドメイン（人間による遮蔽あり）の両方のデータを統合することで、ドメイン間の一般化を向上させる共同学習とドメイン適応フレームワークを導入すること。
• 今後の研究やベンチマークの支援を目的として、新規の大規模で公開可能なデータセット（MuSe-CAR-Part）と訓練済みモデルを公開すること。

提案手法

• 著者らは、3つの新規データセットを構築した：Close-CAR（クローズアップ、最適でない条件）、Mix-CAR（複数モデル・複数設定）、MuSe-CAR-Part（人間-車両相互作用の動画）で、後者は公開された。
• 最先端のCNNバックボーン（例：Darknet）を採用し、ソースドメイン（人間なし）とターゲットドメイン（人間による遮蔽あり）の特徴を同時に学習する共同学習に適応した。
• ドメイン適応戦略として、両ドメインからのデータを統合してトレーニングすることで、人間の相互作用や照明の変化に起因する分布シフトに適応しながら、共有表現を学習できるようにした。
• ImageNetの重みで初期化し、自動車特化データでファインチューニングすることで、転移学習を実施。同時に、共同最適化によりドメイン固有のデータを統合した。
• 検出には、遮蔽や視点変化に強い局所化精度を向上させるために、特徴マッピングの統合機構を備えた二段階オブジェクト検出器（例：Faster R-CNN）を適用した。
• 評価には標準的な指標を用い、認識にはF1スコア、検出には平均平均精度（mAP）を採用。アブレーションスタディでは、共同学習、ファインチューニング、非教師ありドメイン適応を比較した。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメイン間の共同学習は、実世界の変動する条件下での車両部品認識・検出における一般化性能を向上させることができるか？
• RQ2 未学習の自動車データセットにおいて、mAPとF1スコアの観点から、共同ドメイン適応は標準的なファインチューニングや非教師ありドメイン適応に比べて優れているか？
• RQ3 多様な車両モデルや設定で訓練された汎用モデルは、遮蔽や動的照明を伴う人間-車両相互作用シナリオにどの程度一般化できるか？
• RQ4 特に実世界の動画シーケンスにおいて、人間による遮蔽データをトレーニングに組み込むことで、どの程度の性能向上が達成できるか？

主な発見

• 最高の認識モデルは、分類データセットのテストセットで93.67%のF1スコアを達成し、29種類の車両部品を高精度に識別できることを示した。
• 共同学習を用いた検出システムは、Mix-CARデータセットのテストセットで63.01%のmAPを達成し、標準的なファインチューニングや非教師ありドメイン適応を顕著に上回った。
• 人間-車両相互作用データセット（MuSe-CAR-Part）では、共同学習によりmAPが、ファインチューニングベースラインの29.62%から41.07%に上昇し、10パーセンテージポイントの絶対的向上を達成した。
• Mix-CARの開発およびテストセットの両方において、共同学習アプローチは、標準的な転移学習や非教師ありドメイン適応と比較して、mAPを5%以上の絶対的向上を示した。
• 実世界の動画で人間-車両相互作用を含むMuSe-CAR-Partデータセットは、モデルの訓練および評価に成功し、遮蔽や可変な視点に強く、頑健であることが示された。
• MuSe-CAR-Partデータセット、訓練済みモデル、およびコードの公開により、今後のインテリジェントな車両認識および人間-車両相互作用分野の研究を加速し、ベンチマークの支援が可能になった。