[논문 리뷰] SalyPath360: Saliency and Scanpath Prediction Framework for Omnidirectional Images

Mohamed Amine Kerkouri, Marouane Tliba외 2명|arXiv (Cornell University)|2021. 12. 31.

Visual Attention and Saliency Detection참고 문헌 33인용 수 4

한 줄 요약

SalyPath360는 주목도 지ap과 스캔패스를 동시에 예측하는 새로운 딥러닝 프레임워크를 제안한다. 이는 주로 등방성 360° 이미지에서 작동하는 인코더-디코더 네트워크에 주목도 메커니즘을 통합하고, SoftArgMax를 적용한 보조 네트워크를 통해 고정점 예측을 수행한다. 주목도 지도와 스캔패스 기반 히트맵은 적응형 공동 확률 모델을 통해 융합되며, Salient360! 데이터셋에서 주목도 및 스캔패스 예측 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper introduces a new framework to predict visual attention of omnidirectional images. The key setup of our architecture is the simultaneous prediction of the saliency map and a corresponding scanpath for a given stimulus. The framework implements a fully encoder-decoder convolutional neural network augmented by an attention module to generate representative saliency maps. In addition, an auxiliary network is employed to generate probable viewport center fixation points through the SoftArgMax function. The latter allows to derive fixation points from feature maps. To take advantage of the scanpath prediction, an adaptive joint probability distribution model is then applied to construct the final unbiased saliency map by leveraging the encoder decoder-based saliency map and the scanpath-based saliency heatmap. The proposed framework was evaluated in terms of saliency and scanpath prediction, and the results were compared to state-of-the-art methods on Salient360! dataset. The results showed the relevance of our framework and the benefits of such architecture for further omnidirectional visual attention prediction tasks.

연구 동기 및 목표

• 가상현실(VR) 콘텐츠 배달 최적화 및 경험 품질(QoE) 향상에 핵심적인 옴니디렉셔널 360° 이미지에서 인간의 시각적 주의를 예측하는 데 도전하는 것.
• 구형 시각 콘텐츠에서 눈의 움직임 특성인 동적 행동을 반영하여 주목도 지도와 스캔패스를 동시에 예측하는 통합 프레임워크를 개발하는 것.
• 스캔패스 유도 고정점 패tern과 적응형 융합 메커니즘을 통한 적도 주의 편향을 통합하여 주목도 예측 성능을 향상시키는 것.
• Salient360! 벤치마크 데이터셋에서 최신 기술 수준의 모델들과의 비교를 통해 프레임워크의 효과성을 평가하는 것.

제안 방법

• 등방성 360° 이미지를 등방형 투영(ERP) 형식으로 처리하는 인코더-디코더 컨볼루션 신경망에 내장된 자기주목도 모듈이 주요 주목도 지도를 생성한다.
• 특징 맵에 소프트아르감맥(SoftArgMax) 함수를 적용하여 시야 중심 고정점 예측을 위한 보조 네트워크가 작동하며, 이는 스캔패스 생성을 가능하게 한다.
• 예측된 스캔패스는 가우시안 필터를 통과하여 스캔패스 기반 주목도 히트맵을 생성한다.
• 적응형 공동 확률 분포 모델이 주요 주목도 지도, 스캔패스 기반 히트맵, 그리고 적도 편향 지도를 융합하여 최종 주목도 예측 결과를 생성한다.
• 다중 스케일 특징과 주목도 메커니즘을 활용하여 구형 이미지 이해를 위한 표현 학습을 향상시킨다.
• AUC-Judd, AUC-Borji, NSS, CC, SIM, KLD와 같은 표준 지표를 사용하여 Salient360! 데이터셋에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 프레임워크가 옴니디렉셔널 360° 이미지에서 주목도와 스캔패스를 효과적으로 예측할 수 있는가?
• RQ2 스캔패스 예측과 적도 편향을 통합할 경우, 독립적인 주목도 모델 대비 주목도 지도 정확도가 얼마나 향상되는가?
• RQ3 다양한 주목도 표현의 적응형 융합이 기존 최신 기술 수준의 방법들보다 벤치마크 데이터셋에서 얼마나 뛰어난 성능을 내는가?
• RQ4 SoftArgMax 기반 보조 네트워크가 타당하고 공간적으로 일관된 스캔패스를 생성하는 데 기여하는 정도는 어떠한가?

주요 결과

• SalyPath360는 Jarodzka 및 NSS 지표에서 최고 성능을 기록하여 SaltiNet 및 PathGan과 같은 최신 기술 수준의 모델들을 능가했다.
• Salient360! 데이터셋에서 SalyPath360는 AUC-Judd 0.8610, AUC-Borji 0.8199, NSS 1.8552의 점수를 기록하여 뛰어난 예측 정확도를 입증했다.
• 일원분산분석(One-way ANOVA) 결과, Jarodzka 점수 기준 SalyPath360와 SaltiNet, PathGan 간 유의미한 차이(p < 0.05)가 확인되었다.
• 공동 확률 융합 모듈이 성능 향상에 기여했으며, 최종 지도(SalyPath360)는 독립 주목도 지도(S) 및 적도 편향 없이 융합된 지도보다 뛰어난 성능을 보였다.
• 스캔패스 기반 주목도 지도만으로도 위치 기반 지표에서는 뛰어난 성능를 보였지만, 분포 기반 지표에서는 성능이 열악하여 융합의 필요성을 강조했다.
• 정성적 결과는 예측된 스캔패스가 주목도가 높은 영역과 적도 영역을 모두 포함하고 있음을 확인했지만, Jarodzka 지표 기반 평가에서는 가시적 타당성과의 괴리가 드러나 이 지표의 한계를 시사했다.