[논문 리뷰] Neural Video Compression using Spatio-Temporal Priors

Haojie Liu, Tong Chen외 3명|arXiv (Cornell University)|2019. 02. 20.

Advanced Image Processing Techniques참고 문헌 19인용 수 10

한 줄 요약

이 논문은 공간적 우선정보(저해상도 특징에서 유도됨)와 시간적 우선정보(ConvlSTM 기반 순환 네트워크에서 유도됨)를 통합적으로 활용하는 신경망 기반 영상 압축 프레임워크를 제안한다. 학습된 우선정보를 통해 프레임 내 텍스처, 운동, 잔차를 모델링함으로써, MS-SSIM를 왜곡 척도로 사용할 때 HEVC Main Profile 대비 평균 38%의 Bjontegaard-Delta Rate (BD-Rate) 향상을 달성한다.

ABSTRACT

The pursuit of higher compression efficiency continuously drives the advances of video coding technologies. Fundamentally, we wish to find better "predictions" or "priors" that are reconstructed previously to remove the signal dependency efficiently and to accurately model the signal distribution for entropy coding. In this work, we propose a neural video compression framework, leveraging the spatial and temporal priors, independently and jointly to exploit the correlations in intra texture, optical flow based temporal motion and residuals. Spatial priors are generated using downscaled low-resolution features, while temporal priors (from previous reference frames and residuals) are captured using a convolutional neural network based long-short term memory (ConvLSTM) structure in a temporal recurrent fashion. All of these parts are connected and trained jointly towards the optimal rate-distortion performance. Compared with the High-Efficiency Video Coding (HEVC) Main Profile (MP), our method has demonstrated averaged 38% Bjontegaard-Delta Rate (BD-Rate) improvement using standard common test sequences, where the distortion is multi-scale structural similarity (MS-SSIM).

연구 동기 및 목표

• 수동으로 설계된 코딩 도구를 데이터 기반, 엔드 투 엔드로 학습된 우선정보로 대체하여 영상 압축 효율을 향상시키는 것.
• 다운스케일링된 저해상도 특징을 공간적 우선정보로 활용하여 프레임 내 공간적 상관관계를 활용하는 것.
• 시간적 의존성을 ConvlSTM 기반 순환 네트워크를 통해 운동 및 잔차 통계를 다수의 프레임에 걸쳐 포괄적으로 모델링하는 것.
• 공유된 우선정보를 통합하여 내부, 간헐적, 잔차 코딩을 공동 최적화함으로써 비율-왜곡 성능을 극대화하는 것.
• 표준 테스트 시퀀스와 MS-SSIM 기반 왜곡 척도를 사용하여 HEVC 및 H.264/AVC와 비교해 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 현재 프레임의 집계된 다운스케일링을 통해 내부 코딩을 위한 저해상도 특징을 생성함으로써 공간적 우선정보를 생성한다.
• 이전에 재구성된 프레임과 잔차를 순환적으로 처리하는 ConvlSTM을 사용하여 시간적 우선정보를 캡처한다.
• 효율적인 잠재 표현 및 엔트로피 코딩을 위해 GDN 활성화 함수와 하이퍼우선정보를 갖춘 변동성 오토인코더를 활용한다.
• 이전 잔차, 잠재 특징, 시간적 은닉 상태를 조건으로 하는 공동 확률 분포를 사용해 잔차를 모델링한다.
• 학습된 평균과 분산을 갖는 가우시안 분포 기반 누적분포함수(CDF)를 사용하여 정확한 엔트로피 모델링을 수행한다.
• 두 단계로 이루어진 엔드 투 엔드 훈련을 수행한다: 내부 및 플로우 네트워크의 사전 훈련, 그 후 MS-SSIM 및 L1/워핑 손실을 포함한 비율-왜곡 손실을 통한 공동 최적화.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 통해 학습된 통합 공간적·시간적 우선정보가 기존 수동 설계된 도구를 초월해 영상 압축 효율을 크게 향상시킬 수 있는가?
• RQ2 ConvlSTM 기반 순환 네트워크는 영상 압축에서 운동 및 잔차 예측을 위한 장기적 시간적 의존성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 저해상도 특징에서 파생된 공간적 우선정보는 내부 프레임 코딩 성능을 얼마나 향상시킬 수 있는가?
• RQ4 공간적, 시간적, 잔차 우선정보를 통합적으로 모델링하면 더 나은 엔트로피 코딩과 비율-왜곡 균형을 달성할 수 있는가?
• RQ5 동일한 품질 척도(MS-SSIM) 하에서 제안된 신경망 기반 프레임워크는 HEVC 및 H.264/AVC와 비교해 어떤 수준의 BD-Rate 향상을 달성하는가?

주요 결과

• 제안된 신경망 기반 영상 압축 프레임워크는 표준 테스트 시퀀스 전반에서 HEVC Main Profile 대비 평균 38.12%의 BD-Rate 감소를 달성한다.
• KristenAndSara 시퀀스에서는 96.96%의 BD-Rate 향상을 기록하여 고운동 콘텐츠에서 뛰어난 성능을 보였다.
• 목표 MS-SSIM 약 0.988 수준에서 비트레이트 절감 효과가 뚜렷했으며, H.264/AVC High Profile 및 HEVC Main Profile 모두를 능가하는 성능을 보였다.
• 광학 흐름과 ConvlSTM 기반 시간 모델링을 활용함으로써 기존 블록 기반 운동 추정 기법보다 더 정확한 운동 예측을 가능하게 했다.
• 공간적, 시간적, 잔차 우선정보의 통합 모델링은 엔트로피 코딩 효율성 향상을 이끌었으며, 이는 비율-왜곡 성능 향상으로 확인되었다.
• 낮은 비트레이트에서도 높은 시각적 품질을 유지하였으며, HEVC 및 H.264/AVC 대비 왜곡이 최소화된 프레임 스냅샷을 통해 확인되었다.