[논문 리뷰] State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression

Chen Li, Mai Xu외 2명|arXiv (Cornell University)|2019. 05. 01.

Visual Attention and Saliency Detection참고 문헌 149인용 수 6

한 줄 요약

이 논문은 인지 모델링, 시각적 품질 평가(VQA), 압축 기술에 중점을 두어 최신 360° 영상/이미지 처리 기술에 대한 종합적인 서베이를 제공한다. 데이터셋, 주목도 예측 방법, 주관적 및 객관적 VQA 접근법, 그리고 구면 기하학성과 인간의 시각적 주의를 고려한 압축 기술을 검토하며, 분야의 발전을 위해 더 큰 데이터셋과 다중 작업 학습 프레임워크의 필요성을 강조한다.

ABSTRACT

Nowadays, 360° video/image has been increasingly popular and drawn great attention. The spherical viewing range of 360° video/image accounts for huge data, which pose the challenges to 360° video/image processing in solving the bottleneck of storage, transmission, etc. Accordingly, the recent years have witnessed the explosive emergence of works on 360° video/image processing. In this paper, we review the state-of-the-art works on 360° video/image processing from the aspects of perception, assessment and compression. First, this paper reviews both datasets and visual attention modelling approaches for 360° video/image. Second, we survey the related works on both subjective and objective visual quality assessment (VQA) of 360° video/image. Third, we overview the compression approaches for 360° video/image, which either utilize the spherical characteristics or visual attention models. Finally, we summarize this overview paper and outlook the future research trends on 360° video/image processing.

연구 동기 및 목표

• 360° 영상/이미지 처리 분야에서 인지, 시각적 품질 평가(VQA), 압축 기술에 걸쳐 최근의 진전을 체계적으로 검토하는 것.
• 구면 기하학성과 시점 기반 시청 행동으로 인해 기존 2D 영상/이미지 처리 기술을 360° 콘텐츠에 적용할 때 발생하는 주요 과제를 규명하는 것.
• 시각적 주의 데이터를 포함한 기존 데이터셋을 분석하고, 데이터 기반 모델 훈련을 위한 스케일과 대표성 측면에서의 한계를 평가하는 것.
• 시각적 주의 및 시점 인식 품질 저하 모델링을 통합한 360° 콘텐츠를 위한 객관적 VQA 방법의 진화를 분석하는 것.
• 구면 특성과 인간 인지 능력을 활용하여 비트레이트를 줄이고 품질을 유지하는 데 효과적인 압축 전략을 탐색하는 것.

제안 방법

• 헤드셋(HMD) 및 눈동자 추적 시스템을 통해 수집된 데이터를 포함해, 시각적 주의 데이터를 포함한 12개의 공개 360° 영상/이미지 데이터셋을 조사하여 인간의 시청 행동을 분석하는 것.
• 히우리스틱(수작업 특징) 및 데이터 기반(딥 뉴럴 네트워크) 접근법으로 주목도 예측 방법을 분류하고, 2D 주목도 모델에서의 적응을 중심으로 다루는 것.
• 통제된 HMD 조건에서 품질 점수를 수집하는 주관적 VQA 방법과, 비균일한 투영 밀도 보정 또는 시각적 주의 통합을 위한 객관적 VQA 모델을 검토하는 것.
• 모션 추정, 재투영, 샘플링 밀도 조정을 통해 2D 영상 코덱(예: HEVC, VVC)을 수정하는 기술과 주의 기반 비트 할당을 사용하는 기술을 분석하는 것.
• 주목도, 시점, 품질 점수를 동시에 예측하여 인지, VQA, 압축 파이프라인 간의 효율성과 일관성을 향상시키는 다중 작업 학습 프레임워크를 평가하는 것.
• 2D VQA 지표(예: SSIM, PSNR)를 360° 콘텐츠에 적응시키기 위해 재투영, 가중치 할당, 시점 인식 메트릭의 역할을 강조하는 것.

실험 결과

연구 질문

• RQ1 360° 영상/이미지에서 인간의 시청 패턴은 2D 콘텐츠와 어떻게 다를까? 그리고 이러한 행동을 효과적으로 캡처하는 데이터셋은 무엇이 있는가?
• RQ2 기존 2D 주목도 모델은 360° 영상/이미지에 얼마나 잘 적응할 수 있으며, 현재의 주의 모델링 접근법의 한계는 무엇인가?
• RQ3 비균일한 인지 감도와 시점 기반 시청을 고려해 시각적 품질 평가(VQA) 방법을 어떻게 개선할 수 있는가?
• RQ4 어떤 압축 전략이 구면 기하학성과 인간의 시각적 주의를 효과적으로 활용하여 비트레이트를 줄이면서도 인지 품질을 유지하는가?
• RQ5 주목도, 시점, 품질 점수를 동시에 최적화하는 다중 작업 학습 프레임워크는 360° 영상/이미지 처리의 성능과 효율성을 향상시킬 수 있는가?

주요 결과

• 기존의 360° 영상/이미지 주의 데이터셋은 크기가 제한되어 있어(예: 48–153명의 참가자), 대규모 2D 데이터셋에 비해 데이터 기반 딥 러닝 모델의 성능이 제한된다.
• 360° 콘텐츠의 주목도 예측은 2D 기반 특징 추출과 새로운 구면 인지 아키텍처의 조합에서 유의미한 이점을 얻지만, 아직 대부분의 모델이 360° 기하학성을 완전히 활용하지 못하고 있다.
• 시각적 주의를 통합하거나 콘텐츠를 재투영하여 왜곡 편향을 줄이는 객관적 VQA 방법은 표준 2D 지표보다 주관적 품질 점수와 더 잘 일치하는 경향을 보인다.
• 시점 기반 비트 할당 또는 구면 인지 모션 추정을 사용하는 압축 기술은 일부 경우에서 비트레이트를 최대 30%까지 줄일 수 있으며, 인지 품질을 유지한다.
• 대부분의 VQA 연구는 전반 참조(FR) 기반으로 진행되고 있어, 실시간 및 확장 가능한 구현을 위한 강력한 감소 참조(RR) 및 비참조(NR) 접근법의 필요성이 뚜렷하다.
• 주목도, 시점, 품질 점수를 동시에 예측하는 다중 작업 학습 프레임워크는 종단 간 최적화의 잠재력을 보이며, 초기 연구에서 실현 가능성과 성능 향상이 입증되었다.