[논문 리뷰] Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving

Victor Besnier, David Picard외 1명|arXiv (Cornell University)|2021. 05. 28.

Advanced Neural Network Applications참고 문헌 24인용 수 12

한 줄 요약

이 논문은 자율주행을 위한 세분화에서 지식적 불확실성과 앨레아토릭 불확실성을 추정하기 위해 메인 네트워크와 옵저버 출력 간의 비유사도를 사용하는 자기지도 학습 관측자 네트워크를 제안한다. 이는 MC 드롭아웃보다 20배 빠르며, 데이터 증강 및 디스티illation 방법보다도 최소한의 계산 오버헤드로도 뛰어난 안전 중심 성능을 달성한다. 특히 반사광 아티팩트 상황에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we show how uncertainty estimation can be leveraged to enable safety critical image segmentation in autonomous driving, by triggering a fallback behavior if a target accuracy cannot be guaranteed. We introduce a new uncertainty measure based on disagreeing predictions as measured by a dissimilarity function. We propose to estimate this dissimilarity by training a deep neural architecture in parallel to the task-specific network. It allows this observer to be dedicated to the uncertainty estimation, and let the task-specific network make predictions. We propose to use self-supervision to train the observer, which implies that our method does not require additional training data. We show experimentally that our proposed approach is much less computationally intensive at inference time than competing methods (e.g. MCDropout), while delivering better results on safety-oriented evaluation metrics on the CamVid dataset, especially in the case of glare artifacts.

연구 동기 및 목표

• 자율주행에서 어두운 환경이나 반사광과 같은 열악한 시각 조건에서 발생하는 신경망 예측의 부정확성을 해결하기 위해.
• 추가적인 레이블이 필요 없이 지식적 불확실성과 앨레아토릭 불확실성을 모두 탐지할 수 있는 계산적으로 효율적인 불확실성 추정 방법을 개발하기 위해.
• 예측 신뢰도가 임계값 이하로 떨어질 경우 작동을 유도하는 실시간 안전 후퇴 메커니즘을 가능하게 하기 위해.
• 지난 예측 불확실성 레이블이 필요 없이, 노이즈가 섞인 입력과 드롭아웃 정규화된 예측을 타겟으로 하여 자기지도 학습을 통해 관측자 네트워크를 훈련시키기 위해.
• 특히 안전 중심 시나리오에서 분포 이탈 및 노이즈 상황에서 MC 드롭아웃 및 디스티illation과 같은 기존 방법보다 더 나은 예측 불확실성 탐지 성능을 달성하기 위해.

제안 방법

• 예측이 확실할 경우 메인 세분화 네트워크를 모방하는 평행 관측자 네트워크(ObsNet)를 설계하지만, 예측이 불확실할 경우 출력이 상이하게 나오도록 한다.
• 지식적 불확실성은 메인 네트워크 출력과 관측자 출력 간의 비유사도를 학습된 비유사도 함수를 통해 측정한다.
• 관측자는 자기지도 학습을 통해 훈련되며, 노이즈가 섞인 입력과 드롭아웃 정규화된 예측을 타겟으로 하여, 지식 기반 불확실성 레이블이 없이도 불확실성 패턴을 학습할 수 있다.
• 이 방법은 이중 스트림 훈련 설정을 사용한다: 메인 네트워크는 드롭아웃이 포함된 베이지안 세그넷이며, 관측자는 불확실성 상황에서 메인 네트워크의 예측을 따라가도록 훈련된다.
• 손실 함수는 드롭아웃을 통한 다중 전방향 프로세스를 통한 지식적 불확실성과 입력 노이즈 주입을 통한 앨레아토릭 불확실성을 포함하며, SGD와 가중치 감소를 통해 최적화된다.
• 이 프레임워크는 어떤 오프더셀프 세분화 네트워크와도 호환되며, 추론 시 단일 전방향 프로세스만 필요로 하여 계산 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 관측자 네트워크는 자율주행 세분화에서 지식적 불확실성과 앨레아토릭 불확실성을 효과적으로 추정할 수 있는가?
• RQ2 실제 환경의 손상 상황(예: 반사광)에서 제안된 방법은 MC 드롭아웃과 디스티illation보다 불확실성을 얼마나 잘 탐지하는가?
• RQ3 다양한 노이즈 유형으로 훈련된 후, 관측자는 새로운 노이즈 패턴(예: 패치 노이즈)에 대해 일반화할 수 있는가?
• RQ4 앙상블 기반 또는 디스티illation 기반 불확실성 추정과 비교해 볼 때, 이 방법은 최소한의 계산 비용으로도 높은 성능을 유지하는가?
• RQ5 표준 신뢰도 점수로는 실패할 수 있는 안전 중심 상황에서, 불확실성 맵이 신뢰성 있게 후퇴 행동을 유도할 수 있는가?

주요 결과

• 제안된 방법은 지식적 불확실성에서 R@P=0.95 기준 89.3%를 달성했으며(표 1), MC 드롭아웃 T50(88.2%)를 능가하고, AuPR(97.9%)는 동일하게 유지하면서도 20배 빠른 성능을 보였다.
• 반사광 하에서 앨레아토릭 불확실성에서, GT 지도 하에 79.4% R@P와 96.6% AuPR를 기록하여, MC 드롭아웃 T50(0.1% R@P와 83.9% AuPR)보다 뚜렷이 뛰어난 성능을 보였다.
• 패치 노이즈로 훈련하고 반사광에서 테스트한 경우, 자기지도 학습 관측자는 46.7% R@P와 92.3% AuPR를 기록하여, MC 드롭아웃 및 디스티illation 기반 방법을 모두 앞섰다.
• GeForce RTX 2080 Ti에서 MC 드롭아웃 T50보다 20배 더 빠른 추론 속도를 기록했으며, 추론 비용은 단일 전방향 프로세스 수준이었다.
• 디스티illation 기반 방법은 반사광 상황에서 불확실성을 효과적으로 포착하지 못해 단지 2.2%의 트리거 비율을 기록했지만, 관측자 방법은 GT 지도 하에 39.2%의 트리거 비율을 기록했다.
• 관측자는 재훈련 없이도 새로운 노이즈 유형에 대해 잘 일반화되어 있어, 재훈련 없이도 분포 이탈에 대해 강건함을 입증했다.