[논문 리뷰] SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments.

Divya Kothandaraman, Rohan Chandra외 1명|arXiv (Cornell University)|2020. 11. 27.

Advanced Neural Network Applications참고 문헌 45인용 수 5

한 줄 요약

SAfE는 명순한 날씨 이미지에서의 주의 투영을 활용하여 기상 악화 조건에서 도로 안전성 분류를 위한 자기주의 기반 비지도 도메인 적응 방법을 제안한다. 이는 안전 주행 영역의 국소화를 향상시키기 위해 설계되었으며, 비지도 도메인 적응 성능에서 29.29% 향상되며, 시뮬레이션 및 실제 도메인 데이터셋에서 최신 기술 대비 mIoU 기준 최소 12.02% 향상된다.

ABSTRACT

We present a novel approach SAfE that can identify parts of an outdoor scene that are safe for driving, based on attention models. Our formulation is designed for hazardous weather conditions that can impair the visibility of human drivers as well as autonomous vehicles, increasing the risk of accidents. Our approach is unsupervised and uses domain adaptation, with entropy minimization and attention transfer discriminators, to leverage the large amounts of labeled data corresponding to clear weather conditions. Our attention transfer discriminator uses attention maps from the clear weather image to help the network learn relevant regions to attend to, on the images from the hazardous weather dataset. We conduct experiments on CityScapes simulated datasets depicting various weather conditions such as rain, fog and snow under different intensities, and additionally on Berkeley Deep Drive. Our result show that using attention models improves the standard unsupervised domain adaptation performance by 29.29%. Furthermore, we also compare with unsupervised domain adaptation methods and show an improvement of at least 12.02% (mIoU) over the state-of-the-art.

연구 동기 및 목표

• 인간 운전자 및 자율주행 차량 모두의 시야가 제한되는 악천후 조건에서 도로 안전성 분류의 과제를 해결한다.
• 명순한 날씨 조건에서의 대규모 레이블링 데이터를 활용하여 기상 악화 조건에서의 레이블 데이터 부족 문제를 해결한다.
• 주의 기반 특징 학습을 통해 도메인 이해를 위한 도메인 적응 성능을 향상시킨다.
• 악천후 조건에서 수동 애너테이션을 요구하지 않고도 모델이 다양한 기상 도메인 간에 일반화할 수 있도록 한다.
• 명순한 날씨 이미지에서 유도된 공간적 주의를 활용하여 악천후 입력에서의 주의를 이끌어내는 방법을 개발한다.

제안 방법

• 도로 안전성 분류를 위해 입력 이미지의 관련 공간 영역에 동적으로 집중하기 위해 자기주의 메커니즘을 활용한다.
• 명순한 날씨 이미지의 주의 맵과 악천후 이미지에서 예측된 주의 맵을 정렬하기 위해 주의 투영 판별기를 사용한다.
• 비지도 도메인 적응 과정에서 예측의 확신도와 일관성을 높이기 위해 엔트로피 최소화를 적용한다.
• 주의 투영 판별기를 통해 모델이 다양한 도메인 간에 의미적으로 관련된 영역에 주의를 기울이는 것을 보장하는 적대적 훈련을 통한 도메인 적응을 통합한다.
• 레이블이 부여된 명순한 날씨 데이터와 레이블이 없는 악천후 데이터를 사용하여 모델을 종합적으로 훈련시키며, 주의 기반 특징 정렬을 통해 도메인 간 이질성을 최소화한다.
• 원천 도메인(명순한 날씨)의 주의 맵을 사용하여 목표 도메인(비, dense 안개, 눈 등)에서의 모델 주의를 이끌어내는 데 지도로 활용한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 악천후 조건에서 도로 안전성 분류를 위한 비지도 도메인 적응에 기여하는가?
• RQ2 명순한 날씨 이미지에서 유도된 주의 맵이 악천후 환경에서의 안전 영역 국소화에 얼마나 기여하는가?
• RQ3 제안된 주의 투영 판별기는 기존 도메인 적응 기법 대비 분할 정확도에서 어떻게 비교되는가?
• RQ4 엔트로피 최소화와 주의 투영을 병행할 경우, 다양한 기상 도메인 간에 더 강건하고 일반화 능력이 뛰어난 특징 학습이 이루어지는가?
• RQ5 악천후 조건에서의 애너테이션 없이도 이 방법이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 SAfE 방법은 시뮬레이션 기반 기상 데이터셋에서 표준 기반 방법 대비 비지도 도메인 적응 성능을 29.29% 향상시켰다.
• SAfE는 CityScapes 시뮬레이션 데이터셋과 Berkeley DeepDrive에서 모두 최신 기술 대비 최소 12.02% 향상된 mIoU 성능을 달성했다.
• 주의 투영 판별기는 애너테이션 없이도 악천후 이미지에서 의미적으로 관련된 영역에 주의를 기울이는 데 효과적으로 기여한다.
• 엔트로피 최소화는 목표 도메인에서 더 확신 있는 예측과 일관성을 높여 분할 출력의 불확실성을 감소시킨다.
• 이 방법은 비, 안개, 눈 등 다양한 기상 조건에서 잘 일반화되며, 강도가 다른 다양한 기상 조건에서도 우수한 성능을 보인다.
• 자기주의의 활용 덕분에 기존의 CNN 기반 접근 방식보다 저시야 조건에서 안전 주행 영역을 더 정확하게 국소화할 수 있었다.