[논문 리뷰] Deep Deterministic Uncertainty for Semantic Segmentation

Jishnu Mukhoti, Joost van Amersfoort외 2명|arXiv (Cornell University)|2021. 10. 29.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 13

한 줄 요약

이 논문은 Deep Deterministic Uncertainty (DDU)를 영상 세분화에 확장하여 단일 순방향 전파 내에서 효율적인 지식적 불확실성과 애로우티크 불확실성 추정을 가능하게 한다. 픽셀 위치에 독립적인 클래스별 특징 공간 밀도를 활용함으로써, DDU는 Pascal VOC 2012에서 최고 수준의 불확실성 校정 성능을 달성하며, 표준 모델과 유사한 추론 속도를 유지한다. 이는 MC Dropout과 Deep Ensembles보다 정확도와 런타임 측면에서 모두 뛰어나다.

ABSTRACT

We extend Deep Deterministic Uncertainty (DDU), a method for uncertainty estimation using feature space densities, to semantic segmentation. DDU enables quantifying and disentangling epistemic and aleatoric uncertainty in a single forward pass through the model. We study the similarity of feature representations of pixels at different locations for the same class and conclude that it is feasible to apply DDU location independently, which leads to a significant reduction in memory consumption compared to pixel dependent DDU. Using the DeepLab-v3+ architecture on Pascal VOC 2012, we show that DDU improves upon MC Dropout and Deep Ensembles while being significantly faster to compute.

연구 동기 및 목표

• 자율 주행 및 의료 영상과 같은 안전 중심 응용 분야에서 영상 세분화의 신뢰할 수 있는 불확실성 정량화를 가능하게 하기 위해.
• 밀도 예측 작업에서 전통적인 불확실성 방법, 예를 들어 MC Dropout과 Deep Ensembles의 높은 계산 비용 문제를 해결하기 위해.
• 원래 분류 작업을 위해 개발된 DDU를 영상 세분화로 확장하면서도 효율성과 정확성을 유지하기 위해.
• 픽셀에 독립적인 특징 공간 밀도 추정이 영상 세분화의 불확실성 추정에 실현 가능하고 효과적인지 입증하기 위해.
• 다양한 기준(불확실성 校정, 정확도, 추론 속도)에서 강력한 기준 모델들과의 비교를 통해 DDU의 성능을 검증하기 위해.

제안 방법

• 학습 데이터에 대해 단일 순방향 전파를 통해 특징 표현이 공간적 위치에 관계없이 불변이라는 가정 하에 클래스별 특징 공간 평균과 공분산 행렬을 계산한다.
• 특징 밀도 p(z) = Σ_c p(z|c)p(c)의 근사로 가우시안 판별 분석(GDA)을 적용하며, 여기서 p(z|c)는 클래스 조건부 밀도이고 p(c)는 클래스 사전 확률이다.
• 계산된 특징 밀도를 지식적 불확실성의 대체 지표로 사용하며, 낮은 밀도일수록 더 높은 불확실성으로 간주한다.
• 관측 노이즈와 모호성을 캡처하기 위해 소프트맥스 출력 분포의 엔트로피를 통해 애로우티크 불확실성 추정을 수행한다.
• 특징 붕괴를 방지하고 안정적인 밀도 추정을 보장하기 위해, 양방향 리프시츠 유도성(비-리프시츠 유도성)을 가진 완전 컨volution 레이어 아키텍처(DeepLab-v3+)를 사용한다.
• 다중 스토케스틱 전파나 앙상블 추론이 필요 없이 단일 순방향 전파 내에서 불확실성 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 밀도 예측이 요구되는 영상 세분화에 DDU를 효과적으로 확장할 수 있는가?
• RQ2 픽셀 단위 통계 대신 클래스별로 픽셀에 독립적인 통계를 사용해 영상 세분화의 특징 공간 밀도를 계산하는 것이 가능한가?
• RQ3 영상 세분화 작업에서 DDU가 MC Dropout과 Deep Ensembles보다 더 뛰어난 불확실성 校정 성능을 보일 수 있는가?
• RQ4 다중 전파가 필요한 기준 모델들과 비교해 DDU는 빠른 추론 속도를 유지하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 실제 세분화 시나리오에서 DDU는 지식적 불확실성과 애로우티크 불확실성을 얼마나 잘 분리할 수 있는가?

주요 결과

• DDU는 Pascal VOC 2012 검증 세트에서 모든 불확실성 임계값에 대해 상태 최고 수준의 불확실성 校정 성능—p(정확—확신), p(불확신—오류), PAVPU—을 달성한다.
• DDU의 단일 전파 런타임은 약 263 밀리초이며, MC Dropout(1.57초)보다 훨씬 빠르고 표준 추론 전파와 유사하다.
• 속도 우수성에도 불구하고 DDU는 검증 mIoU 83.6%를 유지하며 다른 모델들과 유사한 정확도를 확보하여 정확도에 대한 성능 저하가 없다.
• 시각화 결과 DDU의 특징 밀도는 새로운 또는 모호한 영역에서 지식적 불확실성을 잘 반영하는 반면, 소프트맥스 엔트로피는 물체 경계에서 애로우티크 불확실성을 잘 캡처한다.
• 메서드는 지식적 불확실성과 애로우티크 불확실성을 성공적으로 분리하였으며, 엔트로피 기반 방법이 포착하지 못한 큰 영역에서 잘못 예측된 영역에서는 지식적 불확실성이 증가하는 경향을 보였다.
• 실증 분석을 통해 동일한 클래스의 특징 공간 평균이 서로 다른 이미지 위치에서 항상 다른 클래스보다 더 가까운 것으로 확인되었으며, 이는 픽셀에 독립적인 가정이 타당함을 검증한다.