[논문 리뷰] Space-Time Video Regularity and Visual Fidelity: Compression, Resolution and Frame Rate Adaptation

Dae Yeol Lee, Hyunsuk Ko외 2명|arXiv (Cornell University)|2021. 03. 31.

Image and Video Quality Assessment참고 문헌 52인용 수 4

한 줄 요약

이 논문은 압축, 해상도, 프레임 레이트 적응이 병합된 조건에서의 인지적 품질을 예측하기 위해 시공간 이동된 프레임 차이의 천연 영상 통계(NVS)를 활용하는 새로운 영상 품질 예측 모델을 제안한다. 운동 경로를 따라 나누기 정규화된 프레임 차이를 모델링하고 학습된 회귀기(Regressor)를 사용함으로써, ETRI-LIVE STSVQ 데이터베이스에서 최신 기술 수준(SOTA)의 성능을 달성하며, 복잡한 영상 왜곡에 대해 뛰어난 강건성을 보여준다.

ABSTRACT

In order to be able to deliver today's voluminous amount of video contents through limited bandwidth channels in a perceptually optimal way, it is important to consider perceptual trade-offs of compression and space-time downsampling protocols. In this direction, we have studied and developed new models of natural video statistics (NVS), which are useful because high-quality videos contain statistical regularities that are disturbed by distortions. Specifically, we model the statistics of divisively normalized difference between neighboring frames that are relatively displaced. In an extensive empirical study, we found that those paths of space-time displaced frame differences that provide maximal regularity against our NVS model generally align best with motion trajectories. Motivated by this, we build a new video quality prediction engine that extracts NVS features from displaced frame differences, and combines them in a learned regressor that can accurately predict perceptual quality. As a stringent test of the new model, we apply it to the difficult problem of predicting the quality of videos subjected not only to compression, but also to downsampling in space and/or time. We show that the new quality model achieves state-of-the-art (SOTA) prediction performance compared on the new ETRI-LIVE Space-Time Subsampled Video Quality (STSVQ) database, which is dedicated to this problem. Downsampling protocols are of high interest to the streaming video industry, given rapid increases in frame resolutions and frame rates.

연구 동기 및 목표

• 압축, 공간적 다운샘플링, 시간적 다운샘플링이 병합된 조건에서 인지적 영상 품질을 예측하는 데 도전하는 데 목적을 두며.
• 왜곡에 의해 손상되는 자연 영상 시퀀스의 통계적 규칙성을 모델링하는 데 목적을 두며.
• 시공간 이동된 프레임 차이를 활용하여 정밀한 품질 추정을 향상시키는 품질 예측 엔진을 개발하는 데 목적을 두며.
• 특히 시공간 하향샘플링을 위한 설계된 새로운 도전적인 기준 데이터셋에서 모델을 평가하는 데 목적을 두며.
• 대역폭 제약이 있는 스트리밍 환경에서 인지적으로 정확하고 학습 가능한 영상 품질 평가 프레임워크를 제공하는 데 목적을 두며.

제안 방법

• 모델은 시간적·공간적으로 이동된 영상 프레임 간의 나누기 정규화된 차이를 모델링하여 시공간 규칙성을 포착한다.
• 학습된 천연 영상 통계(NVS) 모델 하에서 규칙성을 최대화하는 이동 프레임 차이의 경로를 식별한다.
• 이러한 이동 프레임 차이에서 NVS 기반 특징을 추출하여 학습된 회귀기의 입력으로 사용한다.
• 다양한 왜곡을 포함한 대규모 데이터셋을 사용하여 주관적 영상 품질 점수를 예측하도록 회귀기를 훈련시킨다.
• 압축, 해상도, 프레임 레이트 변화의 조합을 포함하는 ETRI-LIVE 시공간 하향샘플링 영상 품질(STSVQ) 데이터베이스에서 방법을 검증한다.
• 운동 경로 정렬을 인지적 품질의 대체 지표로 사용하여 실제 왜곡에 대한 민감도를 향상시킨다.

실험 결과

연구 질문

• RQ1 시공간 이동 프레임 차이를 어떻게 활용하여 품질 예측을 위한 천연 영상 통계를 모델링할 수 있는가?
• RQ2 NVS 모델 하에서 규칙성을 최대화하는 프레임 차이 경로가 실제 운동 경로와 어느 정도 일치하는가?
• RQ3 NVS 특징 기반의 학습된 회귀기가 압축, 해상도, 프레임 레이트 적응이 병합된 조건에서 기존 모델을 초월할 수 있는가?
• RQ4 제안된 모델은 특히 시공간 하향샘플링을 위한 설계된 기준 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 공간적 및 시간적 하향샘플링이 인지적 영상 품질 저하에 기여하는 비율은 어느 정도인가?

주요 결과

• 제안된 모델은 ETRI-LIVE STSVQ 데이터베이스에서 최신 기술 수준(SOTA)의 예측 성능을 달성하며, 실제 왜곡이 복합적으로 작용하는 환경에서 기존 방법들을 능가한다.
• NVS 모델 하에서 규칙성을 최대화하는 이동 프레임 차이 경로가 실제 운동 경로와 강하게 일치함을 확인하여, 모델의 인지적 관련성을 검증한다.
• 표준 차이 기반 특징에 비해 나누기 정규화된 프레임 차이를 사용함으로써 모델의 인지적 왜곡에 대한 민감도가 크게 향상된다.
• 학습된 회귀기는 압축, 공간적 하향샘플링, 시간적 하향샘플링의 다양한 조합에 대해 효과적으로 일반화된다.
• 모델은 극한의 대역폭 제약 조건에서도 고도로 정확한 예측 성능 유지를 유지하며, 높은 수준의 강건성을 보여준다.
• 결과는 시공간 규칙성이 특히 운동 인식 기반 특징 추출과 조합될 경우 시각적 정밀도의 강력한 예측자임을 확인한다.