[論文レビュー] Lidar-Camera Co-Training for Semi-Supervised Road Detection

Luca Caltagirone, Lennart Svensson+2 more|arXiv (Cornell University)|Nov 28, 2019

Remote Sensing and LiDAR Applications参考文献 25被引用数 6

ひとこと要約

本論文は、深層ニューラルネットワークを用いて、ラベルなしデータを相互予測に基づいて自己ラベル付けするカメラとリモートセンサの協調学習フレームワークを提案する。この手法は、わずか36例のラベル付きデータでのみ、KITTIベンチマークで最先端の性能を達成し、教師あり学習に比べてF1スコアを2.61ポイント向上させた。

ABSTRACT

Recent advances in the field of machine learning and computer vision have enabled the development of fast and accurate road detectors. Commonly such systems are trained within a supervised learning paradigm where both an input sensor's data and the corresponding ground truth label must be provided. The task of generating labels is commonly carried out by human annotators and it is notoriously time consuming and expensive. In this work, it is shown that a semi-supervised approach known as co-training can provide significant F1-score average improvements compared to supervised learning. In co-training, two classifiers acting on different views of the data cooperatively improve each other's performance by leveraging unlabeled examples. Depending on the amount of labeled data used, the improvements ranged from 1.12 to 6.10 percentage points for a camera-based road detector and from 1.04 to 8.14 percentage points for a lidar-based road detector. Lastly, the co-training algorithm is validated on the KITTI road benchmark, achieving high performance using only 36 labeled training examples together with several thousands unlabeled ones.

研究の動機と目的

• 自動運転における道路セグメンテーションデータのラベリングにかかる高コストと人的負担を軽減すること。
• 豊富なラベルなしデータを活用することで、限られたラベル付きデータで道路検出性能を向上させること。
• カメラとリモートセンサの補完的性質を協調学習フレームワークを通じて活用すること。
• 最小限のラベル付きデータでKITTIの道路ベンチマーク上で手法を検証すること。
• 2つのモodal特化ネットワークによる協調学習が、教師あり学習を著しく上回ることを示すこと。

提案手法

• ラベル付きデータ上でカメラベースおよびリモートセンサベースの完全畳み込みニューラルネットワーク（FCN）を交互に訓練し、ラベルなしデータに対して信頼性の高い予測を自己ラベル付けする、変更を加えた協調学習アルゴリズム。
• 各モデルがラベルなし例に対して行った予測を、もう一方のモデルの学習に用いる疑似ラベルとして使用し、モダリティの補完的性質（例：リモートセンサの照明へのロバストネス、カメラの豊富なテクスチャ）を活用する。
• 各イテレーションで、最も信頼性の高い予測（上位p個の陽性およびn個の陰性）を選択し、自己ラベル付けに使用する信頼度しきい値を用いる。
• ラベル付きデータ上の教師あり学習とラベルなしデータ上の協調学習を交互に実行し、教師ありおよび教師なし損失の両方を統合最適化で使用する。
• Adam最適化アルゴリズムを用い、早期停止を適用して、36ラベル付きおよび6,445ラベルなしフレームを用いてKITTIに適用。
• 最終的なモデルはカメラデータのみで評価され、実世界の展開状況（カメラのみ利用可能）を模倣する。

実験結果

リサーチクエスチョン

• RQ1 カメラとリモートセンサのモデル間での協調学習が、最小限のラベル付きデータで道路検出性能を顕著に向上させることができるか？
• RQ2 異なる量のラベル付きデータを用いた場合、協調学習による性能向上はどのように変化するか？
• RQ3 わずかなラベル付きデータセットを用いて、協調学習フレームワークは実世界のベンチマーク（例：KITTI）に一般化可能か？
• RQ4 補完的センサ間の相互自己ラベル付けが、厳しい状況（例：照明不良）でもより高いロバストネスをもたらすか？
• RQ5 本手法は、KITTIベンチマークにおいて、最先端の教師ありおよび半教師ありアプローチと比較してどのように評価されるか？

主な発見

• 協調学習により、カメラベース検出器のF1スコアは、異なるラベル付きデータサイズで1.12～6.10ポイント向上した。
• リモートセンサベース検出器では、F1スコアが1.04～8.14ポイント向上し、限られた監視下での強力な向上効果を示した。
• KITTIベンチマークでは、協調学習を施したカメラモデル（RGB36-Cotrain）が95.55%のF1スコアを達成し、教師ありベースライン（92.94%）に比べ2.61ポイント向上した。
• RGB36-Cotrainは、KITTI URBAN_ROADカテゴリで発表済み手法の中でも4位にランクインしたが、訓練に使用したラベル付き例はわずか36例であった。
• 定性的な結果から、協調学習モデルは、教師ありベースラインに比べ、困難な照明条件や道路表面状態の下でもより優れた性能を示した。
• 本手法は、補完的センサを用いた協調学習によりラベルなしデータを活用することで、ラベル付けコストを著しく削減しながら、性能を維持または向上させられることを示した。