[논문 리뷰] SaltiNet: Scan-path Prediction on 360 Degree Images using Saliency Volumes

Marc Assens, Kevin McGuinness외 2명|arXiv (Cornell University)|2017. 07. 11.

Visual Attention and Saliency Detection참고 문헌 34인용 수 106

한 줄 요약

SaltiNet은 360° 이미지에 대해 시간적으로 인지 가능한 주의 볼륨을 예측하고 이를 바탕으로 스캔패스를 샘플링하는 CNN으로, Salient360! 2017 대회에서 최고 성능을 달성했다.

ABSTRACT

We introduce SaltiNet, a deep neural network for scanpath prediction trained on 360-degree images. The model is based on a temporal-aware novel representation of saliency information named the saliency volume. The first part of the network consists of a model trained to generate saliency volumes, whose parameters are fit by back-propagation computed from a binary cross entropy (BCE) loss over downsampled versions of the saliency volumes. Sampling strategies over these volumes are used to generate scanpaths over the 360-degree images. Our experiments show the advantages of using saliency volumes, and how they can be used for related tasks. Our source code and trained models available at https://github.com/massens/saliency-360salient-2017.

연구 동기 및 목표

• 360° 이미지에서 눈-시선의 시간적 특성을 포착하기 위한 주의도(volumes) 도입.
• 예측된 주의도 볼륨으로부터 스캔패스를 생성하기 위한 SaltiNet 제안.
• 주 의도 볼륨이 효과적인 스캔패스 샘플링 및 관련 작업을 가능하게 함을 보임.
• Salient360! 2017 벤치마크에서 최첨단 성능을 시연.

제안 방법

• VGG-16에서 초기화되고 다운샘플된 볼륨에 대해 BCE 손실로 학습된 CNN 아키텍처로 주의도 볼륨을 예측한다.
• 시선 고정 타임스탬프를 양자화하고 이진 고정 볼륨을 생성한 뒤 다변수 가우스 커널로 컨벌루션하여 주의도 볼륨을 구성한다.
• 학습 및 샘플링을 위한 시간, 높이, 너비를 나타내는 12×300×600 주의도 볼륨을 출력한다.
• SALICON 같은 주의도 맵 모델에서의 전이 학습과 iSUN에서의 볼륨 예측으로 훈련한 뒤 VR(Oculus DK2)로 포착된 머리/눈 움직임 데이터세트에서 파인튜닝한다.
• 학습된 분포에 따라 시계열 슬라이스마다 고정을 그려 주의도 볼륨에서 스캔패스를 샘플링하고 공간 샘플링 전략을 사용한다; 최적의 결과는 단계 사이의 고정 이동을 제약할 때 나온다.
• 360°(등가구면) 적합화에 맞춘 Jarodzka 유사도 측정의 변형과 Hungarian 매칭으로 평가한다.

실험 결과

연구 질문

• RQ1 시간적으로 인식 가능한 주의도 볼륨이 360° 이미지의 스캔패스 예측을 개선할 수 있는가?
• RQ2 주 의도 볼륨 위의 어떤 샘플링 전략이 현실적인 스캔패스를 산출하는가?
• RQ3 SaltiNet은 다른 Salient360! 참가자들과 비교해 어떤 성능을 보이는가?
• RQ4 볼륨에서의 샘플링 기반 스캔패스 생성의 한계와 이를 완화할 수 있는 방법은 무엇인가?

주요 결과

• 거리 제한 샘플링 전략(2)을 가진 SaltiNet은 샘플링 전략들 중 최적의 1–0–1 점수를 달성했다(Jarodzka 점수 2.27, 낮을수록 좋음).
• 무작위 샘플링이나 단순 샘플링과 비교해 SaltiNet 기반 샘플링이 스캔패스 현실감을 크게 향상시킨다(무작위 4.94; 단순 3.45; 거리제한 2.27).
• 주어진 실제 주의도 맵/볼륨 샘플링은 더 나은 정렬을 낸다(각각 1.89와 1.79).
• 실제 경로는 보고된 지표에서 훨씬 낮다(1.2e-8), 생성 경로와 실제 경로 간 차이가 큼, 반면 SaltiNet 제출은 다른 두 참가자보다 우수하다(예: SJTU 4.6565, Wuhan University 5.9517).
• 모델 학습은 NVIDIA GTX Titan X에서 Keras/Theano 사용 시 약 두 시간 걸리며 수렴도 약 두 시간 보고됨.
• SaltiNet은 ICME 2017의 Salient360! 챌린지에서 최우수 스캔패스 솔루션을 수상했다.