[논문 리뷰] Salient Object Detection via High-to-Low Hierarchical Context Aggregation

Yun Liu, Yu Qiu외 4명|arXiv (Cornell University)|2018. 12. 28.

Visual Attention and Saliency Detection참고 문헌 53인용 수 5

한 줄 요약

이 논문은 고수준에서 저수준으로의 계층적 문맥 통합 네트워크를 제안하며, 시계열 아키텍처에서 중간 지도 학습을 활용하여 전반적인 문맥적 특징에서 국소적 특징으로 점진적으로 학습한다. 이러한 계층적 특징을 융합함으로써 단순하면서도 효과적인 설계로 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 복잡한 융합 아키텍처를 능가한다.

ABSTRACT

Recent progress on salient object detection mainly aims at exploiting how to effectively integrate convolutional side-output features in convolutional neural networks (CNN). Based on this, most of the existing state-of-the-art saliency detectors design complex network structures to fuse the side-output features of the backbone feature extraction networks. However, should the fusion strategies be more and more complex for accurate salient object detection? In this paper, we observe that the contexts of a natural image can be well expressed by a high-to-low self-learning of side-output convolutional features. As we know, the contexts of an image usually refer to the global structures, and the top layers of CNN usually learn to convey global information. On the other hand, it is difficult for the intermediate side-output features to express contextual information. Here, we design an hourglass network with intermediate supervision to learn contextual features in a high-to-low manner. The learned hierarchical contexts are aggregated to generate the hybrid contextual expression for an input image. At last, the hybrid contextual features can be used for accurate saliency estimation. We extensively evaluate our method on six challenging saliency datasets, and our simple method achieves state-of-the-art performance under various evaluation metrics. Code will be released upon paper acceptance.

연구 동기 및 목표

• 측면 출력 특징에 대한 점점 더 복잡한 융합 메커니즘에 의존하는 기존의 주목도 검출기의 한계를 해결하기 위해.
• 복잡한 네트워크 설계와 비교할 때 더 단순한 계층적 문맥 통합 전략이 뛰어난 성능을 낼 수 있는지 탐색하기 위해.
• 자기 학습 방식으로 고수준(전반적) 특징에서 저수준(국소적) 특징으로의 문맥 표현을 학습함으로써 주목도 추정을 향상시키기 위해.
• 효과적인 문맥 모델링이 복잡한 네트워크 구조를 필요로 하지 않으며, 오히려 원칙적인 계층적 특징 융합이 핵심임을 입증하기 위해.

제안 방법

• 상단에서 하단 레이어로 향하는 특징 학습을 이끄는 중간 지도 학습을 적용한 시계열 모양의 네트워크 설계.
• 백본 CNN의 측면 출력 특징을 활용하여 고수준에서 저수준으로의 계층적 다중 스케일 문맥 표현을 추출.
• 더 높은 수준의 특징이 더 낮은 수준의 특징 학습을 이끄는 자기 학습 메커니즘을 적용하여 문맥 모델링을 향상.
• 전역적이고 국소적 문맥을 통합한 하이브리드 표현으로 계층적 문맥 특징을 융합하여 주목도 예측 성능 향상.
• 계층의 각 수준에서 특징 학습을 향상시키기 위해 다중 스케일 지도 학습을 통해 네트워크를 훈련.
• 최종 하이브리드 문맥 특징을 최종 주목도 예측 헤드에 입력하여 엔드 투 엔드 훈련 수행.

실험 결과

연구 질문

• RQ1 측면 출력 특징의 고수준에서 저수준으로의 계층적 융합이 복잡한 융합 메커니즘보다 더 나은 주목도 검출 성능을 낼 수 있는가?
• RQ2 상향식으로 문맥 특징을 학습함으로써 주목할 만한 객체 검출에서 전반적인 이미지 구조의 표현이 향상되는가?
• RQ3 과도하게 복잡한 네트워크 아키텍처를 설계하지 않더라도 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 중간 지도 학습이 주목도 추정을 위한 계층적 문맥 학습을 이끄는 데 얼마나 효과적인가?

주요 결과

• 제안된 방법은 여섯 개의 도전적인 주목도 검출 벤치마크에서 최신 기술 수준 성능을 달성한다.
• 다양한 평가 지표에서 기존 최신 기술 수준의 방법들을 능가하며, 뛰어난 정확도를 입증한다.
• 단순한 고수준에서 저수준으로의 계층적 융합 메커니즘이 복잡한 융합 네트워크보다 더 좋은 결과를 낸다.
• 중간 지도 학습의 사용이 특징 학습과 문맥 표현을 크게 향상시킨다.
• 모델은 전역적이고 국소적 문맥을 효과적으로 포착하여 더 정확한 주목도 맵을 생성한다.
• 다양한 데이터셋에서 일관된 성능 향상이 관찰되어 강력한 일반화 능력을 보여준다.