[論文レビュー] Reinforced Wasserstein Training for Severity-Aware Semantic Segmentation in Autonomous Driving

Xiaofeng Liu, Yimeng Zhang+4 more|arXiv (Cornell University)|Aug 11, 2020

Advanced Neural Network Applications参考文献 68被引用数 7

ひとこと要約

本稿では、自律走行における安全性を向上させるために、学習可能な基準度量を用いた Wasserstein 距離に基づく深刻度に配慮したセマンティックセグメンテーション損失を提案する。誤分類の深刻度をタスク固有のコスト行列としてモデル化し、CARLA シミュレータで強化学習を用いて最適化することで、衝突率を著しく低減し、走行距離を延長した。この手法は、CamVid および Cityscapes における交差エントロピー損失および重要度に配慮したベースラインを上回った。

ABSTRACT

Semantic segmentation is important for many real-world systems, e.g., autonomous vehicles, which predict the class of each pixel. Recently, deep networks achieved significant progress w.r.t. the mean Intersection-over Union (mIoU) with the cross-entropy loss. However, the cross-entropy loss can essentially ignore the difference of severity for an autonomous car with different wrong prediction mistakes. For example, predicting the car to the road is much more servery than recognize it as the bus. Targeting for this difficulty, we develop a Wasserstein training framework to explore the inter-class correlation by defining its ground metric as misclassification severity. The ground metric of Wasserstein distance can be pre-defined following the experience on a specific task. From the optimization perspective, we further propose to set the ground metric as an increasing function of the pre-defined ground metric. Furthermore, an adaptively learning scheme of the ground matrix is proposed to utilize the high-fidelity CARLA simulator. Specifically, we follow a reinforcement alternative learning scheme. The experiments on both CamVid and Cityscapes datasets evidenced the effectiveness of our Wasserstein loss. The SegNet, ENet, FCN and Deeplab networks can be adapted following a plug-in manner. We achieve significant improvements on the predefined important classes, and much longer continuous playtime in our simulator.

研究の動機と目的

• 交差エントロピー損失の限界、すなわち、現実世界での深刻度にかかわらずすべての誤分類を同等に扱うという点を是正すること。
• Wasserstein 距離フレームワーク内において、事前定義されたまたは学習可能な基準度量を用いて、クラス間誤分類の深刻度をモデル化すること。
• 高リスククラス（例：歩行者、車両）の正しく認識されることを優先することで、自律走行における安全性を向上させること。
• アーキテクチャの変更なしに、SegNet や ENet、FCN、Deeplab などの標準ネットワークを強化できる、プラグイン型損失を用いたエンドツーエンド学習を可能にすること。
• 強化学習を用いたシミュレートドライブ環境での手法の妥当性を検証し、ドライブの安全性と頑健性が向上することを示すこと。

提案手法

• 1つのクラスを別のクラスに誤分類した場合の現実世界への影響を反映する深刻度行列として、Wasserstein 距離の基準度量を定義する。
• 最適化の安定化と一般化性能の向上を図るため、深刻度行列の増加関数を基準度量として用いる。
• CARLA シミュレータ内で、最適な基準度量とドライブポリシーを同時に学習するためのアクター・クリティック強化学習フレームワークを実装する。
• 標準的なセグメンテーションネットワークにおける交差エントロピー損失の代替として、Wasserstein 損失をプラグイン的に適用し、エンドツーエンド学習を可能にする。
• 自己教師付きドメイン適応において、非 one-hot の擬似ラベルを用いた場合の Wasserstein 距離の高速近似解法を適用する。
• 提案された損失を用いてセグメンテーションモデルをファインチューニングし、CARLA における衝突なし走行距離や成功率といったドライブ指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein 距離に基づく深刻度に配慮した損失は、自律走行におけるセマンティックセグメンテーションの安全性を向上させることができるか？
• RQ2 学習可能な基準度量を用いて誤分類の深刻度をモデル化することで、シミュレーション上のドライブパフォーマンスにどのような影響を与えるか？
• RQ3 提案された損失は、アーキテクチャの変更なしに標準的なセグメンテーションアーキテクチャに効果的に統合できるか？
• RQ4 強化学習を用いた基準度量の適応は、より頑健で安全なドライブポリシーをもたらすか？
• RQ5 ドライブの安全性およびセグメンテーション精度の観点から、交差エントロピー損失および重要度に配慮した損失と比較して、本手法はどのように差をつけるか？

主な発見

• New Town 設定において、歩行者との衝突間隔の平均距離が 9.24 km から 28.25 km に向上し、安全走行距離がほぼ3倍に増加した。
• New Weather 設定では、歩行者との衝突間隔の平均距離が 2.53 km から 7.82 km に改善され、環境変化に対しても頑健であることが示された。
• Deeplab に適応的 Wasserstein 損失（A-ℒdᵢⱼ）を適用した場合、通常の交通状況の CARLA シナリオで 40.3 km の成功距離を達成し、ベースラインの Deeplab（30.5 km）および IAL（35.2 km）を上回った。
• 10時間のデモンストレーションシナリオにおいて、自律走行の成功率が 58.2% から 65.7% に向上し、ポリシーの一般化性能が向上したことが示された。
• Wasserstein 損失は 300,000 ステップの学習後に安定し、さらなるチューニングなしに性能を維持したため、学習期間に対して頑健であることが示された。
• 特に高い影響を持つクラス（例：person, vehicle）において顕著な改善が得られ、同時に標準的な mIoU メトリクスに対しても優れた性能を維持した。