[논문 리뷰] Hierarchical Autoregressive Modeling for Neural Video Compression

Ruihan Yang, Yibo Yang외 2명|arXiv (Cornell University)|2020. 10. 19.

Image and Signal Denoising Methods참고 문헌 48인용 수 6

한 줄 요약

이 논문은 신경 영상 압축을 위한 계층적 자동회귀 모델링 프레임워크를 제안하며, Scale-Space Flow(SSF) 모델에 학습 가능한 스케일 변환과 운동 및 잔여 잠복 변수에 대한 구조적 사전을 통합하여 향상시킨다. 영상 압축을 확률적 시간 자동회귀 흐름으로 간주함으로써, 이 방법은 UVG 및 MCL-JCV 벤치마크에서 최신 기술 수준의 비율-왜곡 성능을 달성하며, 특히 낮은 비트레이트에서 HEVC 및 이전의 신경 코덱보다 뛰어나다.

ABSTRACT

Recent work by Marino et al. (2020) showed improved performance in sequential density estimation by combining masked autoregressive flows with hierarchical latent variable models. We draw a connection between such autoregressive generative models and the task of lossy video compression. Specifically, we view recent neural video compression methods (Lu et al., 2019; Yang et al., 2020b; Agustssonet al., 2020) as instances of a generalized stochastic temporal autoregressive transform, and propose avenues for enhancement based on this insight. Comprehensive evaluations on large-scale video data show improved rate-distortion performance over both state-of-the-art neural and conventional video compression methods.

연구 동기 및 목표

• 신경 영상 압축과 자동회귀 생성 모델링을 공통의 계층적 잠복 변수 프레임워크 아래 통합하기 위해.
• 기존 모델의 사전 및 재구성 구성 요소를 향상시켜 신경 영상 압축의 비율-왜곡 성능을 향상시키기 위해.
• 신경 영상 압축 분야에서 대규모 고해상도 벤치마크 데이터셋의 부족을 해결하기 위해 YouTube-NT를 도입하기 위해.
• 순차적 생성 모델링의 통찰을 바탕으로 최신 기술 모델인 Scale-Space Flow의 원칙적인 확장 제공하기 위해.

제안 방법

• 이 방법은 운동 추정 기반 영상 압축을 계층적 변분 추론 프레임워크 내에서 확률적 시간 자동회귀 흐름으로 해석한다.
• 재구성 정확도를 향상시키기 위해 학습 가능한 스케일 변환을 도입하며, 이는 이전 모델의 단순 이동 변환을 초월해 스케일 조절 기능을 추가한다.
• 운동 및 잔여 잠복 변수를 함께 모델링하는 구조적 사전을 제안하여 공간적 상관관계를 활용해 엔트로피 코딩 효율성을 향상시킨다.
• 모델은 두 단계 추론 프로세스를 사용한다: 먼저 운동 잠복 변수를 추론하고, 이를 바탕으로 잔여 잠복 변수의 사전을 조건화한다.
• 이 프레임워크는 기존 모델을 일반화된 자동회귀 흐름 변환의 특수한 사례로 간주함으로써, 모델의 분석 및 확장이 가능하다.
• 향후 벤치마크 및 모델 훈련을 지원하기 위해 새로운 고해상도 영상 데이터셋인 YouTube-NT를 수집하고 공개한다.

실험 결과

연구 질문

• RQ1 계층적 자동회귀 흐름은 기존의 신경 영상 압축 방법들을 통합하고 향상시키는 데 사용될 수 있는가?
• RQ2 학습 가능한 스케일 변환을 통합할 경우 재구성 품질과 비율-왜곡 성능에 어떤 영향을 미치는가?
• RQ3 운동 및 잔여 잠복 변수를 함께 모델링하는 구조적 사전은 독립적인 사전보다 더 효과적으로 비트레이트를 감소시킬 수 있는가?
• RQ4 더 큰 고해상도 데이터셋인 YouTube-NT에서 훈련할 경우 모델의 일반화 능력과 성능은 어느 정도 향상되는가?
• RQ5 제안된 구성 요소들(스케일 변환 및 구조적 사전)이 개별적으로나 조합하여 사용했을 때의 성능는 어떻게 비교되는가?

주요 결과

• 제안된 STAT-SSF-SP 모델은 UVG 데이터셋에서 YUV 420 모드에서 HEVC와 최신 기술 수준의 신경 코덱인 SSF를 전 비트레이트 범위에서 모두 초월하며, 특히 낮은 비트레이트에서 두드러진 성능 향상을 보였다.
• 단독으로 사용했을 때, 확률적 시간 자동회귀 변환(STAT)이 구조적 사전(SP)보다 더 큰 성능 향상을 제공한다.
• 결합했을 경우 STAT과 SP는 가장 높은 성능 향상을 이끌었으며, STAT-SSF-SP는 STAT-SSF보다 더 낮은 비트레이트를 달성했다.
• 최근 도입된 YouTube-NT 데이터셋에서의 훈련은 Vimeo-90k에서의 훈련보다 비율-왜곡 성능을 향상시켰으며, Agustsson 등(2020)이 제공한 더 큰 닫힌 접근 데이터셋에서 훈련된 모델과의 격차를 좁혔다.
• 아블레이션 연구는 구조적 사전가 운동 및 잔여 잠복 변수 간의 공간적 상관관계를 활용해 엔트로피 코딩을 크게 향상시킨다는 것을 확인했다.
• 정성적 결과에서는 스케일 변환과 구조적 사전을 갖춘 모델이 낮은 비트레이트에서도 특히 복잡한 운동 영역에서 더 세밀한 재구성을 생성함을 보였다.