[논문 리뷰] Learning Gaze Transitions from Depth to Improve Video Saliency Estimation

George Leifman, Dmitry Rudoy외 3명|arXiv (Cornell University)|2016. 03. 11.

Visual Attention and Saliency Detection참고 문헌 16인용 수 4

한 줄 요약

이 논문은 RGB 및 깊이 입력을 사용하여 한 프레임에서 다음 프레임으로의 시선 이동을 모델링함으로써, 생성형 합성곱 신경망을 활용해 심도를 고려한 영상 샐리언시 모델을 제안한다. 제안된 방법은 깊이의 복잡하고 맥락에 따라 달라지는 영향을 학습함으로써 기존 최고 수준의 접근 방식 대비 15% 상대적 향상을 달성하였으며, 이는 새로운 RGBD 영상 시력 추적 데이터셋(DAViS)에서 검증되었다.

ABSTRACT

In this paper we introduce a novel Depth-Aware Video Saliency approach to predict human focus of attention when viewing RGBD videos on regular 2D screens. We train a generative convolutional neural network which predicts a saliency map for a frame, given the fixation map of the previous frame. Saliency estimation in this scenario is highly important since in the near future 3D video content will be easily acquired and yet hard to display. This can be explained, on the one hand, by the dramatic improvement of 3D-capable acquisition equipment. On the other hand, despite the considerable progress in 3D display technologies, most of the 3D displays are still expensive and require wearing special glasses. To evaluate the performance of our approach, we present a new comprehensive database of eye-fixation ground-truth for RGBD videos. Our experiments indicate that integrating depth into video saliency calculation is beneficial. We demonstrate that our approach outperforms state-of-the-art methods for video saliency, achieving 15% relative improvement.

연구 동기 및 목표

• 2D 스크린에 표시될 때 심도 정보는 존재하지만 渲染되지 않는 3D 영상 콘텐츠에서 인간의 시각적 주의를 예측하는 데 도전하는 것.
• 근본적인 우선순위를 적용하는 대신 데이터로부터 학습함으로써, 심도가 샐리언시에 미치는 모호함(예: 근접하거나 먼 물체가 맥락에 따라 더 주목받을 수 있음)을 해결하는 것.
• 심도 인식 샐리언시 모델의 신뢰성 있는 평가를 가능하게 하기 위해 실제 지표로 사용된 눈 고정 데이터가 포함된 RGBD 영상의 종합적인 데이터셋을 구축하는 것.
• 기계 학습 기반 샐리언시 프레임워크에 심도를 통합할 경우, 심도를 忽略하거나 단순 히وري스틱을 사용하는 방법보다 정확도와 강인성이 향상됨을 입증하는 것.

제안 방법

• 이전 프레임의 샐리언시 맵과 현재의 RGB 및 깊이 입력을 기반으로 현재 프레임의 샐리언시 맵을 예측하기 위해 생성형 합성곱 신경망을 훈련하는 것.
• 네트워크가 시각적 및 깊이 자극에 반응하여 동적 주의 이동을 암묵적으로 학습할 수 있도록, 순환 유사한 구조를 사용하는 것.
• 심도를 핵심 입력 모odal로 통합하여, 고정된 규칙(예: '더 가까운 물체가 더 주목받는다')을 적용하는 대신 맥락에 따라 심도와 샐리언시 간의 관계를 학습하는 것.
• 실제 환경 조건을 시뮬레이션하기 위해 깊이를 忽略하고 2D 스크린에서 영상을 시청하는 동안 수집된 눈 고정 데이터를 포함한 새로운 데이터셋(DAViS)을 활용하는 것.
• 38개의 영상으로 훈련하고 16개의 새로운 영상으로 테스트하며, 정량적 지표(χ² 및 AUC)와 정성적 시각적 비교를 통해 성능을 평가하는 것.
• 기존 최고 수준의 방법(Rudoy et al. [38])에 심도를 통합한 베이스라인과 비교하고, 입력에서 심도를 제거하여 그 기여도를 평가하기 위해 아블레이션 분석을 수행하는 것.

실험 결과

연구 질문

• RQ1 기계 학습 기반 영상 샐리언시 모델에 심도 정보를 통합할 경우, 심도를 忽略하는 방법과 비교해 예측 정확도가 어떻게 향상되는가?
• RQ2 RGB, 깊이, 이전 샐리언시 맵을 사용하여 생성형 CNN이 연속된 영상 프레임 간의 시선 이동을 효과적으로 모델링할 수 있는가?
• RQ3 실제 영상 콘텐츠에서 심도가 샐리언시에 미치는 영향은 무엇이며, 장면 맥락(예: 근접 촬영 대비 먼 거리의 물체)에 따라 달라지는가?
• RQ4 기계 학습 기반 접근 방식이 영상 샐리언시 추정에서 히وري스틱 또는 비기계 학습 기반의 심도 통합 방식을 얼마나 능가하는가?
• RQ5 제안된 방법은 다양한 영상 콘텐츠에서 얼마나 신뢰성 있고 일관되게 작동하는가? 분산과 강인성 측면에서 베이스라인과 비교해 볼 때 어떤가?

주요 결과

• 제안된 심도 인식 영상 샐리언시 모델은 χ² 및 AUC 지표 모두에서 기존 최고 수준의 방법(Rudoy et al. [38]) 대비 15% 상대적 향상을 달성하였다.
• 모델의 성능은 모든 베이스라인(이미지 샐리언시(GSBS [10]) 및 심도 인식 이미지 샐리언시(RGBD [35]))보다 실제 눈 고정 맵에 훨씬 가까웠다.
• 모델는 다른 모든 접근 방식보다 테스트 영상 간 표준편차가 낮아, 샐리언시 예측의 높은 신뢰성과 일관성을 보였다.
• 입력에서 심도를 제거하면 성능에 명백한 하락이 발생하여, 심도가 정확한 샐리언시 예측에 핵심적이고 유익한 입력임을 확인하였다.
• 정성적 결과에서는 다른 방법들이 정확히 모델링하지 못하는 동적 시선 이동(예: 두 사람의 대화에서 얼굴 간의 주의 이동)을 정확히 포착하는 것으로 나타났다.
• 이 작업에서 소개된 DAViS 데이터셋은 54개의 RGBD 영상과 2D 디스플레이 조건에서 수집된 눈 고정 데이터를 포함하여, 향후 심도 인식 영상 샐리언시 연구를 위한 종합적인 벤치마크를 제공한다.