[논문 리뷰] Learning Lightweight Lane Detection CNNs by Self Attention Distillation

Yuenan Hou, Zheng Ma외 2명|arXiv (Cornell University)|2019. 08. 02.

Autonomous Vehicle Technology and Safety참고 문헌 23인용 수 96

한 줄 요약

논문은 Self Attention Distillation (SAD)를 소개합니다. 이는 네트워크의 자체 attention 맵을 소프트 타깃으로 사용하여 표현 학습을 개선하는 학습 시 기법으로, 경량 lane-detection CNNs(예: ENet-SAD)가 추가 라벨이나 느린 추론 없이 더 무거운 모델과 동등하거나 더 우수하게 작동하도록 합니다.

ABSTRACT

Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals inherent in lane annotations. Without learning from much richer context, these models often fail in challenging scenarios, e.g., severe occlusion, ambiguous lanes, and poor lighting conditions. In this paper, we present a novel knowledge distillation approach, i.e., Self Attention Distillation (SAD), which allows a model to learn from itself and gains substantial improvement without any additional supervision or labels. Specifically, we observe that attention maps extracted from a model trained to a reasonable level would encode rich contextual information. The valuable contextual information can be used as a form of 'free' supervision for further representation learning through performing topdown and layer-wise attention distillation within the network itself. SAD can be easily incorporated in any feedforward convolutional neural networks (CNN) and does not increase the inference time. We validate SAD on three popular lane detection benchmarks (TuSimple, CULane and BDD100K) using lightweight models such as ENet, ResNet-18 and ResNet-34. The lightest model, ENet-SAD, performs comparatively or even surpasses existing algorithms. Notably, ENet-SAD has 20 x fewer parameters and runs 10 x faster compared to the state-of-the-art SCNN, while still achieving compelling performance in all benchmarks. Our code is available at https://github.com/cardwing/Codes-for-Lane-Detection.

연구 동기 및 목표

• 희박한 감독 신호와 도전적 조건(가림, 어두운 조명)에서의 견고한 차선 검출 동기를 제공합니다.
• 훈련을 위한 내부 attention 맵을 활용하는 자기지도(distillation) 기법(SAD)을 개발합니다.
• SAD가 추론 시간을 늘리지 않으면서 경량 아키텍처의 성능을 향상시키는지 보여줍니다.
• SAD가 주요 차선 검출 벤치마크에서 state-of-the-art 또는 경쟁력 있는 성능을 제공함을 보여줍니다.
• SAD 혜택을 극대화하기 위한 ENet의 구조적 개선점을 제공합니다.

제안 방법

• layer m에서 활성화 A_m으로부터 주의 맵을 정의하고 채널별 통계치를 사용하여 G(A_m)로 주의 맵을 구성합니다(선호: G_sum^2).
• 레이어 m+1에 증류 대상 Ψ(A_m)을 생성하는 주의 맵 생성기 Ψ를 도입합니다; 필요에 따라 공간 소프트맥스와 바일리니어 업샘플링을 사용합니다.
• L_distill(A_m, A_{m+1}) = sum_m L_d(Ψ(A_m), Ψ(A_{m+1})) 형태의 층별 상향식(distillation) 손실을 형식화하며, L_d는 일반적으로 L2 손실입니다.
• 표준 분류 손실(크로스 엔트로피)과 IoU 손실 및 차선 존재 손실과 함께 distillation 손실을 결합합니다: L = L_seg + α L_IoU + β L_exist + γ L_distill.
• SAD를 ENet 기반 아키텍처에 인코더 블록 뒤에 AT-GEN을 삽입하여 적용하고, 훈련 중 다른 distillation 경로와 시점을 탐색합니다.
• distillation 경로를 제거해보고, SAD를 깊은 감독과 비교하여 효과를 평가합니다.

실험 결과

연구 질문

• RQ1 모델이 외부 라벨 없이도 계층 간의 자신의 attention 맵을 증류(distill)하여 유용한 차선 맥락 표현을 학습할 수 있는가(자가 증류)?
• RQ2 어떤 층-별 모방 경로(어떤 블록이 무엇으로 증류되는지)가 이득을 극대화하며, SAD를 훈련 어느 시점에 도입하는 것이 가장 좋은가?
• RQ3 SAD가 전통적인 깊은 감독보다 이점을 제공하고 경량 네트워크의 빠른 추론을 유지하는가?
• RQ4 SAD가 다양한 벤치마크(TuSimple, CULane, BDD100K)에서 주의 맵과 차선 검출 성능에 어떤 영향을 미치는가?

주요 결과

• SAD는 세 가지 벤치마크(TuSimple, CULane, BDD100K)에서 경량 네트워크의 성능을 일관되게 향상시킵니다.
• ENet-SAD는 경량 모델 중 SCNN 대비 파라미터가 20배 적고 런타임은 10배 빠르면서도 강력한 정확도를 유지하는 상태-유사의 최첨단 결과를 달성합니다.
• TuSimple에서 ENet-SAD는 96.64%의 정확도(기준 ENet의 93.02% 대비); CULane에서 보고된 비교에서 더 높은 F1를 달성; BDD100K에서 ENet-SAD는 각각의 지표에 대해 36.56% IoU 및 16.02% IoU를 달성합니다.
• 더 깊은 네트워크도 SAD의 혜택을 받습니다(예: ResNet-101에 SAD를 적용하면 CULane의 F1이 70.8에서 71.8로, BDD100K의 정확도가 34.45%에서 35.56%로 상승).
• 중간/상위 레벨 타깃과 이웃 레이어 모방이 최상의 이득을 보여주며, 역방향 증류(상위에서 하위로)가 성능을 저하시킵니다.
• SAD는 깊은 감독을 넘어서는 이점을 제공하며, 더 부드럽고 맥락이 풍부한 타깃과 상향식 피드백 메커니즘을 제공하여 얕은 표현과 깊은 표현 모두를 향상시킵니다.