[논문 리뷰] Benchmark 3D eye-tracking dataset for visual saliency prediction on stereoscopic 3D video

Amin Banitalebi-Dehkordi, Eleni Nasiopoulos외 2명|arXiv (Cornell University)|2018. 03. 13.

Visual Attention and Saliency Detection참고 문헌 94인용 수 3

한 줄 요약

이 논문은 24명의 참가자가 61개의 스테레오 3D 영상과 그 2D 복제본을 시청하는 동안 기록한 눈동자 움직임 데이터를 포함하는 대규모 벤치마크 3D 눈동자 추적 데이터셋을 소개한다. 이는 3D 시각적 주목도 예측 모델의 평가를 가능하게 한다. 저자들은 50개의 VAMs를 호스팅하는 온라인 벤치마크를 구축하여, 표준화되고 공개 가능한 데이터와 성능 메트릭을 통해 3D 주목도 모델의 검증을 크게 발전시켰다.

ABSTRACT

Visual Attention Models (VAMs) predict the location of an image or video regions that are most likely to attract human attention. Although saliency detection is well explored for 2D image and video content, there are only few attempts made to design 3D saliency prediction models. Newly proposed 3D visual attention models have to be validated over large-scale video saliency prediction datasets, which also contain results of eye-tracking information. There are several publicly available eye-tracking datasets for 2D image and video content. In the case of 3D, however, there is still a need for large-scale video saliency datasets for the research community for validating different 3D-VAMs. In this paper, we introduce a large-scale dataset containing eye-tracking data collected from 61 stereoscopic 3D videos (and also 2D versions of those) and 24 subjects participated in a free-viewing test. We evaluate the performance of the existing saliency detection methods over the proposed dataset. In addition, we created an online benchmark for validating the performance of the existing 2D and 3D visual attention models and facilitate addition of new VAMs to the benchmark. Our benchmark currently contains 50 different VAMs.

연구 동기 및 목표

• 스테레오 3D 영상 콘텐츠를 위한 대규모이고 공개 가능한 눈동자 추적 데이터셋의 부족을 보완한다.
• 표준화된 벤치마킹을 통해 3D 시각적 주목도 모델(VAMs)의 엄격한 검증을 가능하게 한다.
• 일致한 평가 메트릭을 사용하여 기존의 2D 및 3D 주목도 모델 간 비교를 위한 플랫폼을 제공한다.
• 공동 연구자들이 동일한 벤치마크 환경에서 새로운 VAMs를 쉽게 통합하고 평가할 수 있도록 하여 향후 연구를 촉진한다.
• 기본 눈동자 추적 데이터를 제공함으로써 더 정확한 3D 주목도 예측 모델 개발을 지원한다.

제안 방법

• 61개의 스테레오 3D 영상 시퀀스와 그에 해당하는 2D 버전을 시청하는 동안 24명의 참가자로부터 눈동자 추적 데이터를 수집하였다.
• 공간적 및 시간적 해상도가 주목도 모델링에 적합한 눈동자 추적 하드웨어를 사용하여 시선 데이터를 확보하였다.
• 성능 비교를 위해 50개의 다양한 2D 및 3D 시각적 주목도 모델(VAMs)을 호스팅하는 종합적인 벤치마크 플랫폼을 구축하였다.
• 모든 모델에 동일하게 적용된 표준화된 평가 메트릭(예: AUC, NSS, CC)을 사용하였다.
• 공개된 포털을 통해 데이터셋과 벤치마크를 공동 연구자들이 사용하고 확장할 수 있도록 온라인 포털을 통해 공개하였다.
• 시선 필터링 및 고정점 탐지와 같은 전처리 단계를 통해 데이터 품질을 확보하였다.

실험 결과

연구 질문

• RQ1 기존의 2D 및 3D 시각적 주목도 모델은 대규모 3D 영상 눈동자 추적 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 스테레오 콘텐츠에서 평가했을 때, 2D 모델과 3D 모델 간의 성능 격차는 어떠한가?
• RQ3 제안된 벤치마크 플랫폼은 다양한 VAMs를 표준화된 방식으로 효과적으로 평가하고 비교하는 데 기여하는가?
• RQ4 2D 콘텐츠에 비해 3D 영상에서 인간의 주목을 끄는 가장 두드러진 시각적 특징은 무엇인가?
• RQ5 3D 영상에 포함된 깊이 정보는 눈동자 분포와 주목도 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 벤치마크 데이터셋은 61개의 스테레오 3D 영상 시퀀스와 그 2D 복제본을 포함하며, 24명의 참가자로부터의 눈동자 추적 데이터를 포함하여 3D 주목도 연구를 위한 대규모 자원을 제공한다.
• 온라인 벤치마크는 현재 50개의 서로 다른 2D 및 3D 시각적 주목도 모델(VAMs)을 호스팅하여 표준화된 성능 비교를 가능하게 한다.
• 3D 데이터셋에서 평가했을 때 기존의 3D VAMs는 2D 모델보다 향상된 성능을 보이며, 깊이 인식 모델링의 가치를 입증한다.
• 데이터셋은 깊이 캐릭터리스틱이 눈동자 분포에 상당한 영향을 미치며, 3D 콘텐츠에서 전경 및 중간 영역에 더 높은 고정점 밀도가 있음을 드러낸다.
• 벤치마크는 VAMs의 일관되고 재현 가능한 평가를 가능하게 하여 연구 간 성능 평가의 변동성을 줄인다.
• 데이터셋과 벤치마크는 공개되어 있어 협업을 촉진하고 3D 시각적 주목도 모델링 분야의 혁신을 가속화한다.