[論文レビュー] Learning Lightweight Lane Detection CNNs by Self Attention Distillation

Yuenan Hou, Zheng Ma+2 more|arXiv (Cornell University)|Aug 2, 2019

Autonomous Vehicle Technology and Safety参考文献 23被引用数 96

ひとこと要約

本論文は自己注意蒸留（SAD）を導入する。SADはトレーニング時にネットワーク自身のアテンションマップをソフトターゲットとして利用し、表現学習を向上させる手法である。これにより軽量な車線検出CNN（例：ENet-SAD）を、追加ラベルや遅い推論なしに、より重いモデルと同等かそれを上回る性能へと導く。

ABSTRACT

Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals inherent in lane annotations. Without learning from much richer context, these models often fail in challenging scenarios, e.g., severe occlusion, ambiguous lanes, and poor lighting conditions. In this paper, we present a novel knowledge distillation approach, i.e., Self Attention Distillation (SAD), which allows a model to learn from itself and gains substantial improvement without any additional supervision or labels. Specifically, we observe that attention maps extracted from a model trained to a reasonable level would encode rich contextual information. The valuable contextual information can be used as a form of 'free' supervision for further representation learning through performing topdown and layer-wise attention distillation within the network itself. SAD can be easily incorporated in any feedforward convolutional neural networks (CNN) and does not increase the inference time. We validate SAD on three popular lane detection benchmarks (TuSimple, CULane and BDD100K) using lightweight models such as ENet, ResNet-18 and ResNet-34. The lightest model, ENet-SAD, performs comparatively or even surpasses existing algorithms. Notably, ENet-SAD has 20 x fewer parameters and runs 10 x faster compared to the state-of-the-art SCNN, while still achieving compelling performance in all benchmarks. Our code is available at https://github.com/cardwing/Codes-for-Lane-Detection.

研究の動機と目的

• 希薄な監督信号と難しい条件（遮蔽、低照度）下での頑健な車線検出を動機付ける。
• 訓練時に内部のアテンションマップを利用する自己教師付き蒸留機構（SAD）を開発する。
• 推論時間を増やさずにSADが軽量アーキテクチャの性能を向上させることを示す。
• SADが主要な車線検出ベンチマークで最先端または競争力のある性能をもたらすことを示す。
• SADの恩恵を最大化するためのENetのアーキテクチャ的改良を提供する。

提案手法

• 層 m での活性化 A_m からアテンションマップを定義し、チャネルごとの統計量を用いて G(A_m) によってアテンションを構築する（G_sum^2 を推奨）。
• 層 m+1 の蒸留ターゲット Ψ(A_m) を生成するアテンション生成器 Ψ を導入する。必要に応じて空間的ソフトマックスと二次補間を用いる。
• 層ごとにトップダウンの蒸留損失 L_distill(A_m, A_{m+1}) を定式化する。 L_distill = sum_m L_d(Ψ(A_m), Ψ(A_{m+1}))、L_d は通常 L2 損失。
• 標準的なセグメンテーション損失（クロスエントロピー）を IoU 損失と車線存在損失と蒸留損失と組み合わせる： L = L_seg + α L_IoU + β L_exist + γ L_distill。
• エンコーダブロックの後に AT-GEN を挿入して ENet ベースのアーキテクチャに SAD を適用し、訓練中に異なる蒸留経路と時点を探索する。
• 蒸留経路をアブレーションし、深い監督（deep supervision）と比較して有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルは外部ラベルなしで、層を横断して自分のアテンションマップを蒸留する（自己蒸留）ことによって、車線コンテキストの有用な表現を学習できるのか？
• RQ2 どの層ごとの模倣パス（どのブロックがどのブロックに蒸留されるか）が最大の効果を生むのか、SADを訓練のどの時点で導入すべきか。
• RQ3 SADは従来の深い監督より利点を提供し、軽量ネットワークで高速推論を維持するか。
• RQ4 SADはアテンションマップと車線検出性能を、多様なベンチマーク（TuSimple、CULane、BDD100K）でどう影響させるか。

主な発見

• SADは3つのベンチマーク（TuSimple、CULane、BDD100K）で軽量ネットワークの性能を一貫して向上させる。
• ENet-SADは軽量モデルの中で最先端に近い結果を達成し、CULaneでSCNNよりパラメータを20分の1、推論を10倍速く、強い精度を維持。
• TuSimple では ENet-SAD が 96.64% の精度を達成（ENet ベースラインは 93.02%）; CULane では報告された比較でより高い F1 に達成; BDD100K では ENet-SAD が 36.56% IoU および 16.02% IoU をそれぞれの指標として達成。
• より深いネットワークも SAD の恩恵を受ける（例：ResNet-101 と SAD は CULane の F1 を 70.8 から 71.8、BDD100K の精度を 34.45% から 35.56% に改善）。
• アブレーションでは中間/高レベルの層ターゲットと隣接層の模倣が最も効果的であることを示し、後方蒸留（上位から下位へ）は性能を低下させる。
• SADは深部監督を超える利点を提供し、より柔らかく文脈豊かなターゲットと、浅い表現と深い表現の双方を強化するトップダウンのフィードバック機構を提供する。