[논문 리뷰] Efficacy of Pixel-Level OOD Detection for Semantic Segmentation

Matt Angus, Krzysztof Czarnecki외 1명|arXiv (Cornell University)|2019. 11. 07.

Advanced Neural Network Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 최신 이미지 수준의 분포 외(OOD) 탐지 기법—Max Softmax, ODIN, 마할라노비스, Confidence—을 영상 분할에서 픽셀 수준의 OOD 탐지에 적응시켜 새로운 평가 지표(MaxIoU)와 두 개의 맞춤형 데이터셋을 도입한다. 이미지 수준 OOD 탐지에서의 성능 순위가 픽셀 수준으로 이식되지 않으며, 모든 방법이 이미지 수준 대비 유의미하게 성능이 떨어진다.

ABSTRACT

The detection of out of distribution samples for image classification has been widely researched. Safety critical applications, such as autonomous driving, would benefit from the ability to localise the unusual objects causing the image to be out of distribution. This paper adapts state-of-the-art methods for detecting out of distribution images for image classification to the new task of detecting out of distribution pixels, which can localise the unusual objects. It further experimentally compares the adapted methods on two new datasets derived from existing semantic segmentation datasets using PSPNet and DeeplabV3+ architectures, as well as proposing a new metric for the task. The evaluation shows that the performance ranking of the compared methods does not transfer to the new task and every method performs significantly worse than their image-level counterparts.

연구 동기 및 목표

• 이미지 수준 OOD 탐지 기법을 픽셀 수준으로 확장하여 영상 분할에서 국소화된 OOD 탐지 기능을 가능하게 한다.
• 자율주행과 같이 OOD 객체(예: 도로 위에 있는 예상치 못한 상자 등)를 식별하는 것이 핵심적인 안전 임계 응용 분야를 해결하기 위해.
• 최고 성능을 보였던 이미지 수준 OOD 탐지 기법들이 픽셀 수준 탐지로 확장될 때도 여전히 효율성을 유지하는지 평가하기 위해.
• OOD 탐지와 영상 분할 성능을 결합하여 픽셀 수준 OOD 탐지에 특화된 새로운 평가 지표인 MaxIoU를 도입하기 위해.
• Cityscapes와 IDD에서 유도된 두 개의 새로운 벤치마크 데이터셋을 제작하여, 분류 평가를 위한 내분포 및 외분포 픽셀을 포함시키기 위해.

제안 방법

• 이미지 수준에서 최고 성능을 보였던 네 가지 기법—Max Softmax, ODIN, 마할라노비스, Confidence—을 영상 분할 네트워크의 각 픽셀 특징에 적용하도록 적응시킨다.
• 마할라노비스 거리 계산을 위해 특징 차원을 감소시키기 위해 1×1 컨볼루션 레이어를 도입하는 아키텍처 수정을 수행한다.
• PSPNet와 DeeplabV3+의 최전단 레이어 활성화 값을 사용하여, 마할라노비스 거리, 온도 스케일링(ODIN), 또는 최대 소프트맥스 확률을 통해 OOD 점수를 계산한다.
• OOD 예측의 IoU와 내분포 분할 정확도를 결합하여 지역화 및 분류 정확도를 동시에 평가하는 새로운 지표인 MaxIoU를 도입한다.
• 임계값에 의존하지 않는 평가 지표(예: AUC, FPR95)를 사용하여 다양한 OOD 탐지 임계값에서의 성능을 평가한다.
• Cityscapes와 IDD의 실제 장면에 OOD 객체(예: 상자, 동물)를 삽입하여 현실적인 맥락과 클래스 오버랩을 유지하는 두 개의 새로운 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 최신 이미지 수준 OOD 탐지 기법들이 영상 분할의 픽셀 수준에서 분포 외 픽셀을 효과적으로 탐지하도록 적응시킬 수 있는가?
• RQ2 이미지 수준 OOD 탐지 기법의 성능 순위가 픽셀 수준 탐지 작업으로 이식될 때 그대로 유지되는가?
• RQ3 다양한 분할 아키텍처와 데이터셋에서 다양한 OOD 탐지 기법의 지역화 정확도와 내성에 대해 어떻게 비교되는가?
• RQ4 기존 컴퓨터 비전 기법(예: 형태학적 연산)이 클래스 경계에서의 가짜 양성 결과를 제거함으로써 OOD 탐지 성능을 얼마나 향상시키는가?
• RQ5 픽셀 수준 OOD 탐지기의 주요 실패 원인은 무엇이며, 이미지 수준 대비 어떻게 다를까?

주요 결과

• 이미지 수준 OOD 탐지 기법의 성능 순위가 픽셀 수준 작업으로 이식되지 않으며, 이미지 수준에서 뛰어난 성능를 보였던 ODIN 및 마할라노비스 기법도 픽셀 수준에서는 항상 우월하지는 않다.
• 모든 픽셀 수준 OOD 탐지 기법이 이미지 수준 대비 유의미하게 성능이 떨어지며, 이미지 수준에서의 분석에서 픽셀 수준 분석으로 이동할 경우 탐지 능력이 크게 저하됨을 시사한다.
• SUN 데이터셋에서 PSPNet을 사용할 경우, ODIN과 마할라노비스가 VarSum, 상호정보량, Confidence를 크게 앞서 성능을 냈다.
• IDD 데이터셋에서 DeeplabV3+를 사용할 경우 상호정보량이 가장 뛰어난 성능을 보였으며, 다른 기법들도 유사한 성능를 보여, 아키텍처와 데이터에 따라 기법의 효율성이 다름을 시사한다.
• OOD 예측 맵에 전통적인 컴퓨터 비전 기법(예: 침식, 팽창)을 적용했을 때 AUC가 약 0.001만 향상되어 경계 정밀도 향상에 거의 실질적인 기여가 없음을 확인했다.
• 주요 실패 원인은 홍수로 인한 도로나 그림자 등을 내분포로 잘못 분류하고, 잘못된 경계를 OOD로 표시하는 것으로, 향후 방법에서 더 나은 해석이 필요함을 시사한다.