[논문 리뷰] Self-explanatory Deep Salient Object Detection

Huaxin Xiao, Jiashi Feng외 2명|arXiv (Cornell University)|2017. 08. 18.

Visual Attention and Saliency Detection참고 문헌 40인용 수 9

한 줄 요약

이 논문은 다중 수준 특징을 통합하기 위해 조밀한 근접 및 장거리 연결을 통해 성능을 향상시키는 최초의 자기 설명형 딥 색재 객체 탐지 네트워크(SENet)를 제안한다. 동시에 특징 기여도를 시각화하고 모델 결정을 해석할 수 있도록 자기 설명형 생성기를 도입한다. 이 방법은 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 정확도와 경계 유지 능력이 향상된다.

ABSTRACT

Salient object detection has seen remarkable progress driven by deep learning techniques. However, most of deep learning based salient object detection methods are black-box in nature and lacking in interpretability. This paper proposes the first self-explanatory saliency detection network that explicitly exploits low- and high-level features for salient object detection. We demonstrate that such supportive clues not only significantly enhances performance of salient object detection but also gives better justified detection results. More specifically, we develop a multi-stage saliency encoder to extract multi-scale features which contain both low- and high-level saliency context. Dense short- and long-range connections are introduced to reuse these features iteratively. Benefiting from the direct access to low- and high-level features, the proposed saliency encoder can not only model the object context but also preserve the boundary. Furthermore, a self-explanatory generator is proposed to interpret how the proposed saliency encoder or other deep saliency models making decisions. The generator simulates the absence of interesting features by preventing these features from contributing to the saliency classifier and estimates the corresponding saliency prediction without these features. A comparison function, saliency explanation, is defined to measure the prediction changes between deep saliency models and corresponding generator. Through visualizing the differences, we can interpret the capability of different deep neural networks based saliency detection models and demonstrate that our proposed model indeed uses more reasonable structure for salient object detection. Extensive experiments on five popular benchmark datasets and the visualized saliency explanation demonstrate that the proposed method provides new state-of-the-art.

연구 동기 및 목표

• 딥 러닝 기반의 색재 객체 탐지 모델에서 해석 불가능성의 문제를 해결하기 위해, 일반적으로 블랙박스 시스템인 모델의 해석 가능성을 향상시키기 위해.
• 다양한 척도의 특징 재사용을 통해 저수준 및 고수준 특징을 명시적으로 활용하여 탐지 성능을 향상시키기 위해.
• 특정 특징의 부재를 시뮬레이션함으로써 모델이 왜 특정 색재 예측을 하는지 설명할 수 있는 메커니즘을 개발하기 위해.
• 핵심 특징이 있는지 없는지의 비교를 통해 모델 동작을 시각적으로 해석할 수 있도록 하기 위해.
• 기존 방법보다 더 합리적이고 타당한 특징 구조를 사용하는지 입증하기 위해.

제안 방법

• 다단계 색재 인코더를 설계하여 다양한 척도의 특징을 추출하고, 조밀한 근접 및 장거리 연결을 통해 저수준 세부 정보와 고수준 맥락을 통합한다.
• 근접 연결은 서로 다른 잔차 블록(예: res4b22, res3b3)의 업샘플링된 특징을 하위 수준의 특징과 연결함으로써 구현된다.
• 장거리 연결은 각 스테이지 전반의 중간 특징을 조밀하게 연결함으로써 특징 재사용과 맥락 모델링을 향상시킨다.
• 각 스테이지 이후에 컨텍스트 블록을 도입하여 조밀한 연결을 통과하기 전에 특징을 정제함으로써 표현 품질을 향상시킨다.
• 특정 특징의 부재를 시뮬레이션하기 위해 마스킹을 통해 예측 변화를 측정함으로써 자기 설명형 생성기를 제안한다.
• 색재 해석은 원본 예측과 마스킹된 예측 간의 차이로 계산되며, 이는 특징 중요도를 해석하기 위해 시각화된다.

실험 결과

연구 질문

• RQ1 조밀한 연결을 통해 저수준 및 고수준 특징을 명시적으로 통합하면 색재 객체 탐지 성능이 향상되는가?
• RQ2 특징 부재를 시뮬레이션함으로써 자기 설명형 생성기가 딥 색재 모델의 결정 과정을 효과적으로 해석할 수 있는가?
• RQ3 다양한 연결 패턴(근접 대 장거리, 조밀 대 희소)이 모델 성능과 특징 활용에 어떤 영향을 미치는가?
• RQ4 기존 SOTA 모델 대비 제안된 방법이 경계 유지 및 탐지 정확도 향상에 얼마나 기여하는가?
• RQ5 시각화된 색재 해석이 기존 모델보다 더 합리적이고 타당한 특징 사용을 드러내는가?

주요 결과

• 제안된 SENet는 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하였으며, PASCAL-S에서 조밀한 연결과 컨텍스트 블록을 사용할 경우 F-측정치가 0.864에 이른다.
• 제거 실험 결과에 따르면, 조밀한 장거리 연결을 추가하면 희소 연결 대비 Fω가 0.9% 향상되고, 컨텍스트 블록은 성능을 1.2% 향상시킨다.
• 모든 조밀한 연결과 컨텍스트 블록을 갖춘 모델(표 III의 No. 11)은 PASCAL-S에서 Fω가 0.864를 기록하여 기준 모델 대비 3.4% 향상되었다.
• 자기 설명형 생성기는 특정 이미지 영역이 색재 예측를 지지하거나 억제하는지 시각화하여, 기존 모델보다 더 이성적인 특징 사용을 드러내었다.
• 1개의 GPU에서 ResNet-101을 사용할 경우 이미지당 추론 시간은 0.25초로, DCL(1.1초)보다 빠르며 DSS(0.21초)와 유사하며, CRF 후처리가 필요 없다.
• 실패 케이스 분석 결과, 강한 시각적 방해 요소(예: 검은 색 쥐)가 주목을 끌며 주의를 산산이 깨트리는 고대비 비색재 객체에서는 성능 저하가 발생함을 확인하여, 강한 시각적 방해 요소 처리에 한계가 있음을 시사한다.