[논문 리뷰] A Deep Spatial Contextual Long-term Recurrent Convolutional Network for Saliency Detection

Nian Liu, Junwei Han|arXiv (Cornell University)|2016. 10. 06.

Visual Attention and Saliency Detection참고 문헌 56인용 수 22

한 줄 요약

이 논문은 전역적 공간적 맥락과 시나리오 수준의 조절을 위해 새로운 딥 스페이셜 컨텍스추얼 LSTM(DSCLSTM)을 활용하는 딥 스페이셜 컨텍스추얼 장기 순환 합성곱 신경망(DSCLRCN)을 제안한다. 장기 기억 단위를 공간적 맥락 모델링과 통합함으로써, 네트워크는 장거리 의존성을 포착하고, 엔드 투 엔드 훈련을 통해 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Traditional saliency models usually adopt hand-crafted image features and human-designed mechanisms to calculate local or global contrast. In this paper, we propose a novel computational saliency model, i.e., deep spatial contextual long-term recurrent convolutional network (DSCLRCN) to predict where people looks in natural scenes. DSCLRCN first automatically learns saliency related local features on each image location in parallel. Then, in contrast with most other deep network based saliency models which infer saliency in local contexts, DSCLRCN can mimic the cortical lateral inhibition mechanisms in human visual system to incorporate global contexts to assess the saliency of each image location by leveraging the deep spatial long short-term memory (DSLSTM) model. Moreover, we also integrate scene context modulation in DSLSTM for saliency inference, leading to a novel deep spatial contextual LSTM (DSCLSTM) model. The whole network can be trained end-to-end and works efficiently when testing. Experimental results on two benchmark datasets show that DSCLRCN can achieve state-of-the-art performance on saliency detection. Furthermore, the proposed DSCLSTM model can significantly boost the saliency detection performance by incorporating both global spatial interconnections and scene context modulation, which may uncover novel inspirations for studies on them in computational saliency models.

연구 동기 및 목표

• 수작업 특징과 국소 대비 메커니즘에 의존하는 전통적 쇼킹 감지 모델의 한계를 극복하기 위해.
• 인간의 시각 피질의 횡방향 억제를 모방하여 이미지의 장거리 공간적 의존성을 모델링함으로써 쇼킹 감지 성능을 향상시키기 위해.
• 순환 공간 모델링에 시나리오 맥락 조절을 통합하여 전역 맥락 인식 능력을 향상시키기 위해.
• 로컬 특징과 전역 맥락적 관계를 모두 포착하는 엔드 투 엔드 학습 가능한 딥 네트워크를 개발하기 위해.
• 새로운 아키텍처 설계를 통해 기준 쇼킹 감지 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 이미지 위치 간의 장거리 공간적 의존성을 모델링하기 위해 딥 스페이셜 장기 기억 단위(DSLSTM) 모듈을 제안한다.
• 공간적 맥락 모델링과 시나리오 수준의 조절을 결합한 딥 스페이셜 컨텍스추얼 LSTM(DSCLSTM)을 도입하여 쇼킹 추론 성능을 향상시킨다.
• 각 이미지 위치에서 쇼킹 관련 로컬 특징을 추출하기 위해 병렬 합성곱 특징 학습을 사용한다.
• 장기 순환 연결을 활용하여 공간 위치 간에 맥락 정보를 전파하고 인간의 시각 시스템의 횡방향 억제를 모방한다.
• LSTM 게이트에 시나리오 맥락 조절을 통합하여 전역 시나리오 의미에 기반해 특징 표현을 동적으로 조정한다.
• 정답 쇼킹 지ap을 감독으로 사용하여 지도 학습을 통해 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 순환 네트워크가 국소 맥락을 초월하여 쇼킹 감지에서 장거리 공간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 시나리오 맥락 조절을 통합함으로써 쇼킹 감지 성능이 어떻게 향상되는가?
• RQ3 공간적 장기 기억 단위를 갖춘 순환 아키텍처가 인간의 시각 처리 방식과 유사한 전역 시각적 맥락을 포착할 수 있는가?
• RQ4 통합 네트워크의 엔드 투 엔드 훈련이 기존의 두 단계 또는 수작업 특징 기반 접근 방식을 능가하는가?
• RQ5 제안된 DSCLSTM이 표준 쇼킹 감지 벤치마크에서 최신 기술 수준의 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 DSCLRCN은 두 개의 기준 쇼킹 감지 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들을 능가한다.
• DSCLSTM에 시나리오 맥락 조절을 통합함으로써 전역 맥락 인식 능력이 향상되어 정확도가 크게 향상된다.
• DSCLSTM 모델은 장거리 공간적 상호연결을 효과적으로 포착하여 국소 맥락 모델링을 초월한 쇼킹 감지 성능 향상을 이룬다.
• 전체 네트워크의 엔드 투 엔드 훈련은 수작업 구성 요소 없이 효율적인 추론과 강력한 특징 학습을 이끈다.
• 모델은 다양한 자연 풍경에 걸쳐 뛰어난 일반화 성능를 보이며, 인간과 유사한 시각 주의 메커니즘을 효과적으로 모델링하고 있음을 시사한다.
• 제거 실험 결과, 장기 순환 구조와 시나리오 맥락 조절 모두 성능 향상에 기여하는 데 중요한 역할을 한다.