[논문 리뷰] Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions

Xinru Shan, Chaoning Zhang|arXiv (Cornell University)|2023. 06. 23.

IoT and Edge/Fog Computing인용 수 7

한 줄 요약

이 논문은 물리기반의 오염을 적용하여 BDD100k 데이터셋에서 비와 눈, dense한 안개, 서리, 밝기 변화 등의 다양한 기상 조건을 5단계의 심각도 수준으로 시뮬레이션한 상태에서 자율주행 환경에서 Segment Anything Model(SAM)의 내성에 대해 평가한다. 맑은 날씨 조건에서는 강력한 zero-shot 성능을 보이며 mIoU = 0.7161을 기록하지만, 극심한 비와 눈 오는 조건에서는 성능이著しく 떨어지며, 심각도 5 단계에서 mIoU가 각각 0.4395와 0.4973로 감소하여 극한 기상 조건에서의 신뢰성에 한계가 있음을 시사한다.

ABSTRACT

Segment Anything Model (SAM) has gained considerable interest in recent times for its remarkable performance and has emerged as a foundational model in computer vision. It has been integrated in diverse downstream tasks, showcasing its strong zero-shot transfer capabilities. Given its impressive performance, there is a strong desire to apply SAM in autonomous driving to improve the performance of vision tasks, particularly in challenging scenarios such as driving under adverse weather conditions. However, its robustness under adverse weather conditions remains uncertain. In this work, we investigate the application of SAM in autonomous driving and specifically explore its robustness under adverse weather conditions. Overall, this work aims to enhance understanding of SAM's robustness in challenging scenarios before integrating it into autonomous driving vision tasks, providing valuable insights for future applications.

연구 동기 및 목표

• 자율주행 환경에서 악천후 조건 하에서 Segment Anything Model(SAM)의 내성 평가
• 다양한 유형과 심각도의 기상 오염이 SAM의 세분화 성능에 미치는 영향 탐구
• 안전 핵심 자율주행 시스템에 통합하기 전 SAM의 한계에 대한 통찰 제공
• 통제된, 심각도가 단계적으로 조절된 기상 오염 조건 하에서 SAM의 zero-shot 세분화 성능에 대한 벤치마크 수립

제안 방법

• BDD100k 데이터셋의 이미지에 물리기반 오염을 적용하여 빗방울, 눈, 안개, 서리, 밝기 변화 등의 5단계 심각도 수준의 악천후 조건 시뮬레이션
• 기존 방법을 활용하여 악천후 이미지 생성: 빗줄기에는 Photoshop 사용, Fu 등(2017) 및 Hendrycks & Dietterich(2019) 기반 오염 적용
• IoU 필터링 없이 SAM 출력에서 모든 예측 마스크를 추출하여 마스크 커버리지 최대화
• 각 지도 마스크와의 교차율(IoU)이 가장 높은 예측 마스크를 선택하여 정확도 평가
• 모든 지도 마스크와 예측 마스크 쌍에 대해 평균 IoU(mIoU) 계산하여 세분화 성능 정량화
• mIoU를 주요 평가 지표로 사용하며, 식(1)은 최적의 예측 마스크 식별, 식(2)는 모든 인스턴스에 대한 평균 IoU 계산

실험 결과

연구 질문

• RQ1 SAM의 세분화 성능는 다양한 악천후 조건에서 어떻게 변화하는가?
• RQ2 기상 오염의 심각도 수준이 증가함에 따라 자율주행 시나리오에서 SAM의 mIoU에 어떤 영향을 미치는가?
• RQ3 특히 강한 가림 현상이 발생하는 경우, SAM은 경미한 기상 조건과 비교해 심각한 기상 조건에서도 안정적인 성능을 유지하는가?
• RQ4 왜 심도 5단계에서 눈 오는 조건에서는 심도 4단계와 비교해 성능이 일관되지 않게 나타나는가?
• RQ5 물리기반 기상 오염은 자율주행 환경에서 SAM의 zero-shot 일반화 능력에 어느 정도 영향을 미치는가?

주요 결과

• 정상(원본) 조건에서는 SAM이 mIoU = 0.7161을 기록하며 zero-shot 성능의 기준이 된다.
• 심도 5단계에서는 비 오는 조건에서 mIoU가 0.4395로, 눈 오는 조건에서는 0.4973로 감소하여 극심한 강우 및降 Snow 조건에서 성능 저하가著しく 나타남.
• 안개와 서리는 더 안정적인 성능 보이며, 각각 심도 5단계에서 mIoU 값이 0.6172와 0.5392를 기록함.
• 밝기 오염은 가장 미약한 영향을 미치며, 심도 1단계에서 mIoU가 1.8% 감소(0.6983)하여 조명 변화에 대해 강건함을 시사함.
• 심도 5단계에서 눈 오는 조건에서의 이례적인 결과(mIoU = 0.4973)가 심도 4단계(0.4833)보다 높은 것은 강한 시각적 차폐로 인해 눈이 하나의 큰 마스크로 잘못 분류되었을 가능성이 있음.
• SAM의 성능는 특히 물체 경계가 흐려지고 가림이 심한 조건, 예를 들어 강우 및 강설 조건에서 가장 취약함.