[논문 리뷰] Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation

Yingda Xia, Yi Zhang외 3명|arXiv (Cornell University)|2020. 03. 18.

Anomaly Detection Techniques and Applications참고 문헌 51인용 수 10

한 줄 요약

이 논문은 조건부 GAN을 사용해 세그멘테이션 마스크에서 이미지를 합성하고 원본 입력과 비교하여 의미 세그멘테이션의 장애 및 이상 현상을 감지하는 통합 프레임워크인 SynthCP를 제안한다. 이 방법은 도시 교통 환경에서의 장애 감지에서 AUPR을 20% 향상시키고, 췌장 종양 세그멘테이션에서 피어슨 상관계수를 7% 향상시키며, Cityscapes에서 AUPR-오차 지표에서 6% 향상시켜 최신 기술 수준을 달성한다.

ABSTRACT

The ability to detect failures and anomalies are fundamental requirements for building reliable systems for computer vision applications, especially safety-critical applications of semantic segmentation, such as autonomous driving and medical image analysis. In this paper, we systematically study failure and anomaly detection for semantic segmentation and propose a unified framework, consisting of two modules, to address these two related problems. The first module is an image synthesis module, which generates a synthesized image from a segmentation layout map, and the second is a comparison module, which computes the difference between the synthesized image and the input image. We validate our framework on three challenging datasets and improve the state-of-the-arts by large margins, \emph{i.e.}, 6% AUPR-Error on Cityscapes, 7% Pearson correlation on pancreatic tumor segmentation in MSD and 20% AUPR on StreetHazards anomaly segmentation.

연구 동기 및 목표

• 자율 주행 및 의료 영상과 같은 안전이 중요한 의미 세그멘테이션 응용 분야에서 장애 및 이상 현상 감지를 위한 필수적인 필요성 해결.
• 이미지 분류 기반 접근 방식을 뛰어넘어 픽셀 수준의 장애 감지와 이상 세그멘테이션을 동시에 처리하는 통합 프레임워크 개발.
• 세그멘테이션 레이아웃의 구조적 일관성을 활용하여 이미지 복원 과정을 뒤집어 세그멘테이션 예측의 신뢰성 향상.
• 실행 감지에 대해 이미지 수준의 신뢰도와 픽셀 수준의 오류 지ap을 제공하고, 분포 외(OoD) 상황에서 비정상 영역을 국소화.
• Cityscapes, Medical Segmentation Decathlon(MSD), StreetHazards와 같은 다양한 도전적인 벤치마크에서 프레임워크 검증.

제안 방법

• 패aires한 세그멘테이션 마스크와 실재 이미지 데이터를 기반으로 세그멘테이션에서 이미지로의 조건부 GAN(cGAN)을 훈련하여 레이아웃에서 이미지로의 역매핑 학습.
• 훈련된 cGAN을 사용해 테스트 이미지의 예측 세그멘테이션 마스크에서 재구성된 이미지를 합성.
• 작업에 특화된 비교 모듈을 사용해 합성된 이미지와 원본 입력 이미지를 비교: 장애 감지에 대해 시아모이 네트워크 사용, 이상 세그멘테이션에 대해 특징 거리 계산 사용.
• 장애 감지의 경우, 시아모이 네트워크는 이미지 수준의 신뢰도(예: IoU 예측)와 픽셀 수준의 오류 지도를 모두 출력.
• 이상 세그멘테이션의 경우, 세그멘테이션 백본의 중간 특징에서 비교를 수행하고 픽셀 단위의 차이를 계산하여 OoD 영역 식별.
• 이상 점수 지도에 대해 후처리 임계값 설정(예: MSP 임계값 t=0.999)을 적용하여 AUPR 최적화와 함께 가짜 양성률 감소.

실험 결과

연구 질문

• RQ1 세그멘테이션 마스크에서 이미지를 재구성하도록 훈련된 생성 모델이 세그멘테이션 예측의 오류를 감지하는 데 사용될 수 있는가?
• RQ2 합성-비교 프레임워크는 의미 세그멘테이션에서 국소화된 장애와 분포 외 이상 현상을 식별하는 데 얼마나 효과적인가?
• RQ3 이미지 합성을 위한 조건부 GAN의 사용이 기존의 불확실성 또는 재구성 기반 방법보다 더 나은 장애 및 이상 감지 성능을 제공하는가?
• RQ4 세그멘테이션 레이아웃의 구조적 사전 지식이 픽셀 수준의 방법에 비해 감지 성능 향상에 얼마나 기여하는가?
• RQ5 이 프레임워크는 도시 스트리트 환경, 의료 종양, 희귀 물체 이상 현상과 같은 다양한 도메인에 일반화 가능한가?

주요 결과

• Cityscapes 데이터셋에서 픽셀 수준의 장애 감지에 대해 SynthCP는 AUPR-오차 지표에서 6% 향상되어 이전 최신 기술 수준을 초월한다.
• 의료 세그멘테이션 디카테론(MSD) 췌장 종양 세그멘테이션 벤치마크에서 SynthCP는 DSC 예측에 대한 피어슨 상관계수를 7% 향상시켰다.
• StreetHazards 데이터셋에서 SynthCP는 이상 세그멘테이션에 대해 AUPR을 20% 상승시켜(6.5%에서 9.3%로) 새로운 최신 기술 수준을 수립했다.
• MSP 이상 점수 지도에 대해 t=0.999의 임계값을 적용한 후처리가 AUPR을 크게 향상시키며, 높은 AUROC 유지를 유지하면서 FPR95 감소를 이끌었다.
• VAE 기반 경고 시스템과의 조합으로 피어슨 상관계수는 7% 향상되고 스피어만 상관계수는 10% 향상되어 상호 보완적인 강점을 입증했다.
• 시각화 결과 SynthCP가 잘못 분류된 영역(예: 사람을 기둥으로 잘못 분류한 경우)과 훈련 데이터에 존재하지 않는 비정상 물체를 효과적으로 강조함을 보여주었다.