[論文レビュー] Scene Understanding for Autonomous Driving

Òscar Lorente, Ian Riera+1 more|arXiv (Cornell University)|May 11, 2021

Advanced Neural Network Applications参考文献 17被引用数 7

ひとこと要約

この論文は、自動運転のシーン理解を目的として、Detectron2で訓練されたRetinaNet、Faster R-CNN、Mask R-CNNをKITTI-MOTSおよびMOTSChallengeデータセット上で評価している。ドメイン固有のデータでの微調整とハイパーパrameter最適化により、インスタンスセグメンテーションの精度が顕著に向上し、Mask R-CNNは最適化後、60.54%の平均マスクmAPを達成した。これは、モデルの性能がデータセットの構成や設定に極めて敏感であることを示している。

ABSTRACT

To detect and segment objects in images based on their content is one of the most active topics in the field of computer vision. Nowadays, this problem can be addressed using Deep Learning architectures such as Faster R-CNN or YOLO, among others. In this paper, we study the behaviour of different configurations of RetinaNet, Faster R-CNN and Mask R-CNN presented in Detectron2. First, we evaluate qualitatively and quantitatively (AP) the performance of the pre-trained models on KITTI-MOTS and MOTSChallenge datasets. We observe a significant improvement in performance after fine-tuning these models on the datasets of interest and optimizing hyperparameters. Finally, we run inference in unusual situations using out of context datasets, and present interesting results that help us understanding better the networks.

研究の動機と目的

• 最先端のインスタンスセグメンテーションモデル（RetinaNet、Faster R-CNN、Mask R-CNN）を自動運転用データセット上で評価すること。
• KITTI-MOTSおよびMOTSChallengeでの微調整が、事前学習済みモデルと比較して検出およびセグメンテーション精度に与える影響を分析すること。
• ハイパーパrameter最適化（学習率スケジューラ、凍結ステージ、IoU閾値、NMS）がモデル性能に与える影響を調査すること。
• 文脈外や異常なシナリオにおけるモデルの挙動を調査し、ネットワークが実際に学習している特徴を理解すること。

提案手法

• KITTI-MOTSおよびMOTSChallengeデータセット上で、Detectron2を用いてRetinaNet、Faster R-CNN、Mask R-CNNを訓練および評価した。
• ドメイン固有のデータセットで事前学習済みモデルを微調整することで、自動運転シーンにおける性能を向上させた。
• 重要なハイパーパrameterを最適化した：One-Cycle学習率スケジューラを採用し、ResNetバックボーンの凍結ステージ数を変更し、背景/前景のIoU閾値を調整し、NMS閾値をテストした。
• 文脈外のデータセットを用いた定性的な推論を実施し、レアまたは未観測のシナリオにおけるモデルのロバスト性と一般化能力を分析した。
• 交差検証の分割ごとに平均平均精度（mAP）を定量的に評価し、各モデルおよび設定ごとに結果を報告した。
• データセット構成の影響を評価するため、COCO、Cityscapes、KITTI-MOTS、MOTSChallengeをトレーニングデータソースとして用いた。

実験結果

リサーチクエスチョン

• RQ1 KITTI-MOTSおよびMOTSChallengeでの微調整は、事前学習済みのRetinaNet、Faster R-CNN、Mask R-CNNのインスタンスセグメンテーション性能にどのように影響するか？
• RQ2 自動運転用データセットにおけるMask R-CNNの最適なハイパーパramータ設定（学習率スケジューラ、凍結ステージ、IoU閾値、NMS）は何か？
• RQ3 異なるトレーニングデータ構成（例：COCO + KITTI-MOTS と COCO + Cityscapes + MOTSChallenge）は、検出精度と一般化にどのように影響するか？
• RQ4 文脈外のデータセットでモデルをテストすることで得られる知見は何か？また、それらはネットワークの真の誘導的バイアスをどのように明らかにするか？

主な発見

• KITTI-MOTSおよびMOTSChallengeデータセットでの微調整により、モデル性能が顕著に向上し、ハイパーパラメータ最適化後、Mask R-CNNは平均マスクmAPが60.54%に達した。
• One-Cycle学習率スケジューラを採用することで、トレーニングイテレーションを60%削減しながら、性能を維持または向上させることができ、トレーニングに最適な選択肢であった。
• ResNetバックボーンの2ステージを凍結した場合にmAPが最高（46.80%）となり、さらに多くのステージを凍結すると性能が低下した。これは、誘導的バイアスと微調整能力のトレードオフを示している。
• デフォルトのIoU閾値（背景：0.3、前景：0.7）を使用した場合にmAPが最高（60.54%）となり、デフォルトから逸脱すると性能が低下した。
• NMS閾値を0.7に設定した場合にmAPが最高（46.80%）となり、0.9に引き上げるとわずかに向上（47.34%）した。これは、より高い重複閾値が冗長な検出を統合するのに役立つことを示唆している。
• 驚くべきことに、MOTSChallengeデータセット（歩行者アノテーションのみ）を含めることで、複雑なシーンにおける車両検出性能が向上した。これは、クラスに依存しない、もしくは限定的な監視情報が、モデルの一般化に寄与する可能性があることを示している。