[논문 리뷰] This is not what I imagined: Error Detection for Semantic Segmentation through Visual Dissimilarity

David Haldimann, Hermann Blum외 2명|arXiv (Cornell University)|2019. 09. 02.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 12

한 줄 요약

이 논문은 조건부 GAN을 사용하여 세분화 출력에서 합성 이미지를 생성하고, 학습된 이질성 거리 측도를 활용하여 원본 이미지와 재구성된 이미지 간의 일관성 불일치를 식별함으로써, 분류 영역 외부(OoD) 및 잘못 분류된 인스턴스를 탐지하기 위한 새로운 시각적 이질성 기반 방법을 제안한다. 이 방법은 유의미한 OoD 탐지 성능를 달성하지만, 밝기 민감도로 인해 높은 거짓 경고 수를 겪는다.

ABSTRACT

There has been a remarkable progress in the accuracy of semantic segmentation due to the capabilities of deep learning. Unfortunately, these methods are not able to generalize much further than the distribution of their training data and fail to handle out-of-distribution classes appropriately. This limits the applicability to autonomous or safety critical systems. We propose a novel method leveraging generative models to detect wrongly segmented or out-of-distribution instances. Conditioned on the predicted semantic segmentation, an RGB image is generated. We then learn a dissimilarity metric that compares the generated image with the original input and detects inconsistencies introduced by the semantic segmentation. We present test cases for outlier and misclassification detection and evaluate our method qualitatively and quantitatively on multiple datasets.

연구 동기 및 목표

• 세분화 모델에서 분류 영역 외부(OoD) 및 잘못 분류된 인스턴스에 대한 국소 이상 탐지의 부족을 해결하기 위해.
• 학습 분포를 초월한 오류를 탐지할 수 있는 방법을 개발하여 자율 주행 및 안전 중심 시스템에 핵심적인 역할을 하기 위해.
• 생성 모델링과 학습된 이질성 거리 측도를 활용하여 원본 이미지와 재구성된 이미지 간의 일관성 불일치를 식별하기 위해.

제안 방법

• 예측된 세분화 마스크를 기반으로 원본 입력 이미지를 재구성하기 위해 조건부 GAN(cGAN)을 훈련한다.
• 학습된 컨볼루션 신경망에서 유도된 이질성 거리 측도를 사용하여 재구성된 이미지와 원본 입력 이미지를 비교한다.
• 이질성 점수는 이미지 패치 단위로 계산되어 OoD 객체나 잘못 분류된 영역를 국소화한다.
• 성능 트레이드오프를 평가하기 위해 생성자 헤드에 대해 세 가지 아키텍처 변형—디컨볼루션, 리사이즈, 풀 커넥티드—를 평가한다.
• 이질성 검출기는 유사성과 이질성 항목을 균형 잡는 손실 함수를 사용하여 훈련하며, 하이퍼파ram터 λD가 균형을 조절한다.
• 이 방법은 Wilddash 및 Mapillary Vistas 데이터셋을 대상으로 OoD 및 잘못 분류 탐지 작업 모두에 대해 평가된다.

실험 결과

연구 질문

• RQ1 실제 이미지와 GAN에 의해 생성된 이미지 간의 시각적 이질성이 세분화에서 분류 영역 외부(OoD) 인스턴스를 효과적으로 탐지할 수 있는가?
• RQ2 제안된 방법은 단일 이미지 내에서 잘못 분류되거나 OoD 객체를 얼마나 잘 국소화할 수 있는가?
• RQ3 디컨볼루션, 리사이즈, 풀 커넥티드 중 어떤 생성자 아키텍처가 오류 국소화에 가장 강력한 이질성 탐지 성능를 제공하는가?
• RQ4 손실 가중치 파ram터 λD는 이질성 검출기 성능에 어떤 영향을 미치는가?
• RQ5 입력 이미지와 생성된 이미지 간의 밝기 변동은 얼마나 많은 거짓 긍정 결과를 유도하는가?

주요 결과

• 디컨볼루션 기반 접근법은 OoD 탐지에서 Mapillary Vistas 데이터셋에서 최고의 AUC 점수 0.5469를 기록했으며, 리사이즈 및 풀 커넥티드보다 뛰어난 성능를 보였다.
• 풀 커넥티드 접근법은 잘못 분류 탐지에서 더 나은 성능를 보였으며, AUC가 0.5051이었다. 다만 여전히 이상적인 기준 이하였다.
• 정의된 의미론적 일관성에도 불구하고, 입력 이미지와 생성된 이미지 간의 밝기 차이 민감도로 인해 높은 거짓 경고 비율이 발생했다.
• 풀 커넥티드 접근법의 F1 점수는 유사성과 이질성 항목을 균형 잡는 데 λD를 설정했을 때 최대가 되었으며, 이는 최적의 훈련 설정임을 시사했다.
• 정성적 결과에서는 디컨볼루션 및 리사이즈 방법이 OoD 인스턴스 탐지에서 더 우수했고, 풀 커넥티드 방법은 잘못 분류 탐지에서 더 효과적이었다.
• 유의미한 OoD 탐지 성능를 달성했음에도 불구하고, 전체적으로 높은 거짓 긍정 비율로 인해 방법의 활용도가 제한되어 향후 연구가 필요하다.