[論文レビュー] SoildNet: Soiling Degradation Detection in Autonomous Driving

Arindam Das|arXiv (Cornell University)|Nov 4, 2019

Advanced Neural Network Applications参考文献 18被引用数 5

ひとこと要約

SoildNetは、動的グループ畳み込みとチャネル再順序付けを用いて、リアルタイムでタイル単位の汚れ劣化を検出する軽量で効率的なディープラーニングモデルを提案する。精度に損なわれることなく、モデルサイズを7倍小さく、パラメータを90.28%削減した。透明な汚れのTPRが10%向上し、すべての指標で優れた性能を示した。

ABSTRACT

In the field of autonomous driving, camera sensors are extremely prone to soiling because they are located outside of the car and interact with environmental sources of soiling such as rain drops, snow, dust, sand, mud and so on. This can lead to either partial or complete vision degradation. Hence detecting such decay in vision is very important for safety and overall to preserve the functionality of the "autonomous" components in autonomous driving. The contribution of this work involves: 1) Designing a Deep Convolutional Neural Network (DCNN) based baseline network, 2) Exploiting several network remodelling techniques such as employing static and dynamic group convolution, channel reordering to compress the baseline architecture and make it suitable for low power embedded systems with nearly 1 TOPS, 3) Comparing various result metrics of all interim networks dedicated for soiling degradation detection at tile level of size 64 x 64 on input resolution 1280 x 768. The compressed network, is called SoildNet (Sand, snOw, raIn/dIrt, oiL, Dust/muD) that uses only 9.72% trainable parameters of the base network and reduces the model size by more than 7 times with no loss in accuracy

研究の動機と目的

• 雨、ほこり、泥などの環境要因によって引き起こされる、自動運転車両のカメラセンサーにおける汚れ劣化という、重要だが未だ十分に検討されていない問題に対処すること。
• 1 TOPS未満の埋め込み自動車システムに適したリアルタイムで低消費電力のソリューションを提供し、画像全体ではなくタイル単位（64×64）での汚れ検出を実現すること。
• ネットワークの再設計技術を用いて、深層畳み込みニューラルネットワーク（DCNN）アーキテクチャを最適化し、モデルサイズを大幅に削減しながら、検出精度を維持または向上させること。
• さまざまな環境条件下で、クリア、不透明、透明の3つの汚れクラスを強力に検出できることで、下流のビジョンパイプラインを支援すること。
• 動的グループ畳み込みとチャネル再順序付けの組み合わせが、特に挑戦的な透明クラスの検出を向上させることを実証すること。

提案手法

• 1280×768の入力画像を対象としたタイル単位の汚れ検出を目的としたベースライン深層畳み込みニューラルネットワーク（DCNN）の設計。
• すべての畳み込み層に静的および動的グループ畳み込みを適用し、パラメータ数と計算複雑性を低減すること。
• チャネル再順序付けを導入することで、チャネル間の特徴融合を向上させ、特に曖昧な透明汚れの特徴表現学習を強化すること。
• 反復的なアーキテクチャ変更を経て、精度と効率の指標で各バリエーションを評価することで、ネットワークを体系的に圧縮すること。
• 実際の例（雨、泥、霧、雪など）を含む大規模で多様な汚れデータセットを用いて、すべてのモデルを訓練および評価すること。
• 各64×64ピクセルのパッチを「クリア」「不透明」「透明」に分類するタイルベースの評価方式を採用し、下流タスクにおける部分的な画像利用可能性を実現すること。

実験結果

リサーチクエスチョン

• RQ1 ビジョンネットワークのすべての畳み込み層にグループ畳み込みを効果的に適用しても、特徴の融合や性能が劣化しないか？
• RQ2 チャネル再順序付けは、曖昧な透明汚れクラスの特徴表現と分類精度にどのように影響するか？
• RQ3 グループ畳み込みとチャネル再順序付けによるモデル圧縮によって、パラメータ数とモデルサイズをどの程度削減できるか？ その際、検出精度を維持できるか？
• RQ4 グループ数を動的に調整するグループ畳み込みが、静的設定よりも検出のロバスト性と効率性において優れているか？
• RQ5 高度に圧縮されたネットワークは、自動運転ビジョンシステムのリアルタイムで低消費電力な埋め込みプラットフォームでも高い性能を発揮できるか？

主な発見

• SoildNetは、ベースネットワークの学習可能なパラメータ数を9.72%にまで削減し、モデルサイズを7倍以上小さくしたが、精度に損なわれることなく性能を維持した。
• 最終的なSoildNetモデルは、ベースネットワーク（Net-1）と比較して、透明クラスの真正陽性率（TPR）を10%向上させ、59.73%のTPRを達成した。
• SoildNetは、TPR、TNR、FPR、FDRの4つの指標において、すべての他のネットワークバリエーションを上回り、平均TPRが最も高く（82.77%）、FPRが最も低かった（4.42%）。
• 動的グループ畳み込みとチャネル再順序付けの組み合わせが、特に部分的に覆われた（透明な）タイルの検出を大幅に向上させ、最高の性能を発揮した。
• 静的グループ畳み込みとチャネル再順序付けを組み合わせたNet-2は、クリアなタイルでは優れた性能を示したが、透明なタイルでは失敗しており、動的適応の必要性を浮き彫りにした。
• 図4の可視化結果は、SoildNetが他のすべてのバリエーションよりも正確で一貫性のあるタイル単位の予測を生成しており、誤検出が最小限で、汚れ領域の局所化も優れていることを確認した。