[논문 리뷰] SoildNet: Soiling Degradation Detection in Autonomous Driving

Arindam Das|arXiv (Cornell University)|2019. 11. 04.

Advanced Neural Network Applications참고 문헌 18인용 수 5

한 줄 요약

SoildNet는 동적 그룹 컨볼루션과 채널 재정렬을 활용하여 실시간, 타일 수준의 기계적 오염 감지를 위한 경량이고 효율적인 딥러닝 모델을 제안한다. 정확도 손실 없이 모델 크기를 7배 줄이고 파라미터 수를 90.28% 감소시켰으며, 투명 오염에 대해 10% 높은 TPR를 기록하여 모든 변형보다 뛰어난 성능을 보였다.

ABSTRACT

In the field of autonomous driving, camera sensors are extremely prone to soiling because they are located outside of the car and interact with environmental sources of soiling such as rain drops, snow, dust, sand, mud and so on. This can lead to either partial or complete vision degradation. Hence detecting such decay in vision is very important for safety and overall to preserve the functionality of the "autonomous" components in autonomous driving. The contribution of this work involves: 1) Designing a Deep Convolutional Neural Network (DCNN) based baseline network, 2) Exploiting several network remodelling techniques such as employing static and dynamic group convolution, channel reordering to compress the baseline architecture and make it suitable for low power embedded systems with nearly 1 TOPS, 3) Comparing various result metrics of all interim networks dedicated for soiling degradation detection at tile level of size 64 x 64 on input resolution 1280 x 768. The compressed network, is called SoildNet (Sand, snOw, raIn/dIrt, oiL, Dust/muD) that uses only 9.72% trainable parameters of the base network and reduces the model size by more than 7 times with no loss in accuracy

연구 동기 및 목표

• 비오는 날씨, 먼지, 진흙과 같은 환경적 요인으로 인한 자율주행 차량 카메라 센서의 오염 퇴화 문제를 해결하되, 아직 탐색이 부족한 핵심 문제에 대응한다.
• 통합 자동차 시스템(≤1 TOPS)에 적합한 실시간, 저전력 솔루션을 개발하여 전체 이미지 수준이 아닌 타일 수준(64×64)에서 오염을 탐지한다.
• 네트워크 재설계 기법을 활용해 딥 컨volution 네트워크 아키텍처를 최적화하여 모델 크기를 극적으로 줄이면서도 정확도를 유지하거나 향상시킨다.
• 다양한 환경 조건에서 청소, 불투명, 투명 오염의 세 가지 클래스를 견고하게 탐지하여 후속 시각 파ip라인을 지원한다.
• 동적 그룹 컨볼루션과 함께 채널 재정렬이 특징을 융합하고 성능을 향상시키며, 특히 도전적인 투명 오염 클래스에 대해 개선된 성능을 보임을 입증한다.

제안 방법

• 1280×768 입력 이미지에 대해 타일 수준의 오염 탐지용 기초 딥 컨볼루션 네트워크(DCNN)를 설계한다.
• 모든 컨볼루션 레이어에 정적 및 동적 그룹 컨볼루션을 적용하여 파라미터 수와 계산 복잡도를 감소시킨다.
• 채널 재정렬을 도입하여 채널 간 특징 융합을 향상시키고, 특히 모호한 투명 오염에 대해 표현 학습을 강화한다.
• 반복적인 아키텍처 수정을 통해 네트워크를 체계적으로 압축하고, 각 변형에 대해 정확도 및 효율성 지표를 평가한다.
• 우주적이고 다양한 오염 데이터셋을 사용해 모든 모델을 훈련 및 평가하며, 빗방울, 진흙, dense, 눈과 같은 실제 사례 포함.
• 각 64×64 패치를 청소, 불투명, 투명으로 분류하는 타일 기반 평가 체계를 사용하여 후속 작업에서 부분 이미지의 유용성을 보장한다.

실험 결과

연구 질문

• RQ1 비디오 네트워크의 모든 컨볼루션 레이어에 그룹 컨볼루션을 효과적으로 적용할 수 있는가? 이는 특징 융합이나 성능 저하 없이 가능할까?
• RQ2 채널 재정렬은 특히 모호한 투명 오염 클래스에 대해 특징 표현과 분류 정확도에 어떤 영향을 미치는가?
• RQ3 그룹 컨볼루션과 채널 재정렬을 통한 모델 압축이 파라미터 수와 모델 크기를 얼마나 줄일 수 있으며, 정확도 유지 조건에서의 성능은 어떠한가?
• RQ4 그룹 수를 동적으로 조정하는 그룹 컨볼루션은 정적 설정에 비해 탐지 정확도와 효율성 측면에서 뛰어나게 되는가?
• RQ5 극도로 압축된 네트워크는 자율주행 시각 시스템을 위한 실시간, 저전력 임베디드 플랫폼에서 높은 성능을 달성할 수 있는가?

주요 결과

• SoildNet은 기초 네트워크 대비 학습 가능한 파라미터 수를 9.72%로 줄이고, 모델 크기를 7배 이상 감소시켰으며 정확도 손실 없이 성능 유지를 달성했다.
• 최종 SoildNet 모델은 기초 네트워크(Net-1) 대비 투명 오염 클래스의 True Positive Rate(TPR)를 10% 향상시켜 59.73%의 TPR를 기록했다.
• SoildNet은 TPR, TNR, FPR, FDR의 네 가지 표준 지표에서 모든 다른 네트워크 변형보다 뛰어나며, 평균 TPR는 82.77%로 가장 높고, FPR은 4.42%로 가장 낮았다.
• 동적 그룹 컨볼루션과 채널 재정렬의 조합이 가장 우수한 성능을 보였으며, 특히 부분적으로 가리켜진(투명한) 타일의 탐지에 뚜렷한 향상이 있었다.
• 정적 그룹 컨볼루션과 채널 재정렬을 사용한 Net-2는 청소된 타일에서는 뛰어난 성능을 보였지만, 투명 오염 타일에서는 실패했으며, 이는 동적 적응의 필요성을 강조한다.
• 그림 4의 시각적 결과는 SoildNet이 모든 다른 변형보다 더 정확하고 일관성 있는 타일 수준 예측을 제공하며, 잔차 억제와 오염 영역의 더 나은 국소화를 보였다.