[論文レビュー] SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments.

Divya Kothandaraman, Rohan Chandra+1 more|arXiv (Cornell University)|Nov 27, 2020

Advanced Neural Network Applications参考文献 45被引用数 5

ひとこと要約

SAfEは、晴天時の画像から得られる注目メカニズムを活用して、悪天候下における走行安全領域の局所化を向上させる自己注意ベースの自己教師ありドメイン適応手法を提案する。この手法は、模擬的および実世界のデータセットにおいて、自己教師ありドメイン適応性能を29.29%向上させ、最先端手法よりもmIoUで最低12.02%優れている。

ABSTRACT

We present a novel approach SAfE that can identify parts of an outdoor scene that are safe for driving, based on attention models. Our formulation is designed for hazardous weather conditions that can impair the visibility of human drivers as well as autonomous vehicles, increasing the risk of accidents. Our approach is unsupervised and uses domain adaptation, with entropy minimization and attention transfer discriminators, to leverage the large amounts of labeled data corresponding to clear weather conditions. Our attention transfer discriminator uses attention maps from the clear weather image to help the network learn relevant regions to attend to, on the images from the hazardous weather dataset. We conduct experiments on CityScapes simulated datasets depicting various weather conditions such as rain, fog and snow under different intensities, and additionally on Berkeley Deep Drive. Our result show that using attention models improves the standard unsupervised domain adaptation performance by 29.29%. Furthermore, we also compare with unsupervised domain adaptation methods and show an improvement of at least 12.02% (mIoU) over the state-of-the-art.

研究の動機と目的

• 人間のドライバーおよび自動運転車両の視界が制限される悪天候下における走行安全分類の課題に対処すること。
• 悪天候下におけるラベル付きデータの不足を、晴天時条件下の大規模ラベル付きデータを活用することで克服すること。
• 注目ベースの特徴学習を用いて、ドメイン適応の性能を向上させ、道路シーン理解のための自己教師ありドメイン適応を改善すること。
• 悪天候下での手動アノテーションを一切必要とせずに、モデルが異なる天候ドメイン間で一般化できるようにすること。
• 晴天時画像からの空間的注目度を、悪天候入力における注目度をガイドする方法を開発すること。

提案手法

• 入力画像内の関連する空間的領域に動的に注目するため、自己注意メカニズムを用いて走行安全分類に適した特徴を抽出する。
• 晴天時画像の注目マップと悪天候時画像で予測された注目マップを一致させる注目度転送識別器を採用する。
• 自己教師ありドメイン適応の過程で、予測が自信を持ち一貫性を持つようにするためにエントロピー最小化を適用する。
• 敵対的訓練を用いたドメイン適応を実装し、注目度転送識別器が、異なるドメイン間で意味的に関連する領域に注目するようにモデルを学習させる。
• ラベル付き晴天時データとラベルなし悪天候時データを用いて、注目度ベースの特徴一致によってドメインシフトを最小化する形で、モデルをエンドツーエンドで訓練する。
• ソースドメイン（晴天時）の注目マップを、ターゲットドメイン（雨、霧、雪など）におけるモデルの注目度をガイドする監視として活用する。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、悪天候下における走行安全分類の自己教師ありドメイン適応を改善できるか？
• RQ2 晴天時画像からの注目マップは、悪天候下のシーンにおける安全領域の局所化をどの程度向上できるか？
• RQ3 提案手法の注目度転送識別器は、標準的なドメイン適応手法と比較して、セグメンテーション精度でどの程度優れているか？
• RQ4 エントロピー最小化と注目度転送を組み合わせることで、天候ドメイン間でより強固で一般化可能な特徴学習が達成できるか？
• RQ5 悪天候下でのアノテーションを一切必要とせずに、最先端の性能を達成できるか？

主な発見

• 提案手法SAfEは、模擬的天候データセットにおいて、標準ベースライン手法と比較して自己教師ありドメイン適応性能を29.29%向上させた。
• SAfEは、CityScapesの模擬的データセットおよびBerkeley DeepDriveにおいて、最先端手法をmIoUで最低12.02%上回った。
• 注目度転送識別器は、明示的なアノテーションがなくても、悪天候画像における意味的に関連する領域に注目するようにモデルを効果的にガイドした。
• エントロピー最小化は、ターゲットドメインにおける予測の信頼性と一貫性を高め、セグメンテーション出力の不確実性を低減した。
• 本手法は、雨、霧、雪など多様な天候条件、およびその強度の異なる状況においても、良好な一般化性能を示した。
• 自己注意の活用により、従来のCNNベースの手法と比較して、視界が悪い状況下でも安全走行領域の局所化がより正確に可能になった。