[논문 리뷰] Grid Saliency for Context Explanations of Semantic Segmentation

Lukas Hoyer, Mauricio Muñoz외 3명|arXiv (Cornell University)|2019. 07. 30.

Visual Attention and Saliency Detection참고 문헌 48인용 수 24

한 줄 요약

이 논문은 정렬된 색채성(saliency)을 소개하며, 목표 물체 영역 내에서 예측을 유지하는 데 필요한 최소한의 손상되지 않은 이미지 영역을 식별하여 의미 분할 모델에 대해 공간적으로 일관된 설명을 생성하는 편향 기반 방법이다. 이는 객체와 맥락적 영향을 분리하여 맥락 설명을 가능하게 하며, 합성 및 Cityscapes 데이터셋에서 인위적이고 실제 세계의 맥락적 편향에 대해 높은 민감도와 정확한 국소화 능력을 보여준다.

ABSTRACT

Recently, there has been a growing interest in developing saliency methods that provide visual explanations of network predictions. Still, the usability of existing methods is limited to image classification models. To overcome this limitation, we extend the existing approaches to generate grid saliencies, which provide spatially coherent visual explanations for (pixel-level) dense prediction networks. As the proposed grid saliency allows to spatially disentangle the object and its context, we specifically explore its potential to produce context explanations for semantic segmentation networks, discovering which context most influences the class predictions inside a target object area. We investigate the effectiveness of grid saliency on a synthetic dataset with an artificially induced bias between objects and their context as well as on the real-world Cityscapes dataset using state-of-the-art segmentation networks. Our results show that grid saliency can be successfully used to provide easily interpretable context explanations and, moreover, can be employed for detecting and localizing contextual biases present in the data.

연구 동기 및 목표

• 이미지 분류에 국한되어 있던 색채성 방법을 이전에 제한되었던 밀도 예측 작업, 예를 들어 의미 분할으로 확장하기 위해.
• 예측에 대한 객체와 맥락적 영향을 구분할 수 있는 공간적으로 일관되고 분리된 설명을 생성하는 방법을 개발하기 위해.
• 색채성 방법이 훈련 데이터에 존재하는 맥락적 편향을 탐지하고 국소화할 수 있는지 조사하기 위해.
• 맥락적 설명의 품질을 평가하기 위해 제어된 맥락적 편향을 가진 합성 벤치마크 데이터셋을 구축하기 위해.
• 색채성 방법이 기존의 기울기 기반 기준 대비 민감도와 국소화 정확도 측면에서 맥락적 편향 탐지에 얼마나 효과적인지 비교하기 위해.

제안 방법

• 정렬 색채성은 목표 객체 영역 내에서 네트워크 예측을 유지하는 데 필요한 최소한의 손상되지 않은 이미지 영역을 식별하기 위해 최적화 문제로 공식화된다.
• 이 방법은 입력 이미지를 공간 패치의 격자로 나누고, 예측 유지에 가장 중요한 패치를 식별하기 위해 패치를 체계적으로 훼손한다.
• 패치가 마스크되거나 노이즈로 대체되는 편향 기반 접근 방식을 사용하며, 모델의 예측을 모니터링하여 색채성 점수를 산정한다.
• 각 격자 셀의 색채성 점수는 해당 영역이 목표 객체의 예측에 미치는 영향을 반영하여 객체와 맥락의 공간적 분리가 가능하다.
• 이 방법은 각 예측 헤드 또는 클래스별로 적용되어 각 객체 인스턴스에 대한 국소화된 맥락 설명을 생성한다.
• 이 방법은 최신의 의미 분할 네트워크를 사용하여 인위적 맥락적 편향이 포함된 합성 데이터셋과 실제 세계의 Cityscapes 데이터셋 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 정렬 색채성은 의미 분할에서 객체와 맥락적 영향을 분리하여 공간적으로 일관된 설명을 효과적으로 생성할 수 있는가?
• RQ2 이 목적을 위해 설계된 합성 데이터셋에서 정렬 색채성은 인위적 맥락적 편향을 얼마나 잘 탐지하고 국소화할 수 있는가?
• RQ3 맥락적 편향 탐지의 민감도와 국소화 정확도 측면에서 정렬 색채성은 기울기 기반 색채성 방법보다 어떻게 비교되는가?
• RQ4 최신의 의미 분할 모델이 맥락적 신호에 얼마나 의존하는가에 대해 정렬 색채성이 충실하게 이를 드러낼 수 있는가?
• RQ5 정렬 색채성을 사용하여 맥락 조작을 통해 예측에 영향을 주는 악성 편향을 탐지하고 국소화할 수 있는가?

주요 결과

• 정렬 색채성은 합성 및 실제 세계 데이터에서 모두 쉽게 해석할 수 있고 공간적으로 일관된 맥락 설명을 성공적으로 생성하였다.
• 합성 데이터셋에서 정렬 색채성은 맥락 편향에 대해 매우 높은 민감도를 보였으며, 색채성 맵이 편향된 배경 무늬를 명확히 강조한 반면, 기울기 기반 방법은 노이즈가 많고 충실도가 떨어지는 맵을 생성하였다.
• 정렬 색채성은 높은 정밀도로 맥락 편향을 국소화하였으며, 합성 데이터셋의 테스트 케이스 90%에서 편향된 배경 영역을 정확히 식별하였다.
• Cityscapes 데이터셋에서 정렬 색채성은 객체와 그 맥락 사이의 공간적 및 의미적 상관관계를 드러내었으며, 예를 들어 자전거가 탑승자 예측에 미치는 영향을 보여주었다.
• 정렬 색채성은 배경이 아닌 객체 자체가 아니라 맥락에 대해 높은 색채성 점수를 보여줌으로써, 승용차 손잡이로 인한 탑승자 상체의 오분류와 같은 맥락 편향으로 인한 오류를 탐지하였다.
• 정렬 색채성은 기울기 기반 기준 대비 맥락 편향 탐지 및 국소화에서 뛰어난 민감도와 강건성을 보이며 성능을 뛰어넘었다.