[논문 리뷰] Video Compression through Image Interpolation

Chao-Yuan Wu, Nayan Singhal외 1명|arXiv (Cornell University)|2018. 04. 18.

Advanced Image Processing Techniques참고 문헌 26인용 수 20

한 줄 요약

이 논문은 영상 압축을 키 프레임 간 반복적인 딥 이미지 보간으로 재정의하는 최초의 엔드 투 엔드 트레이닝된 딥 비디오 코덱을 제안한다. 키 프레임을 압축하고 운동을 고려한 압축 가능한 보간 네트워크를 사용해 중간 프레임을 재구성함으로써, 여러 데이터셋에서 H.264와 동등한 성능을 기록하며 MPEG-4 Part 2와 H.261를 능가하는 최신 기술 수준의 성능을 달성한다. 블록 아티팩트가 없고 저비트레이트에서 뛰어난 시각적 품질을 제공한다.

ABSTRACT

An ever increasing amount of our digital communication, media consumption, and content creation revolves around videos. We share, watch, and archive many aspects of our lives through them, all of which are powered by strong video compression. Traditional video compression is laboriously hand designed and hand optimized. This paper presents an alternative in an end-to-end deep learning codec. Our codec builds on one simple idea: Video compression is repeated image interpolation. It thus benefits from recent advances in deep image interpolation and generation. Our deep video codec outperforms today's prevailing codecs, such as H.261, MPEG-4 Part 2, and performs on par with H.264.

연구 동기 및 목표

• 기존 코덱에서 사용하는 수작업 히وري스틱을 피하는 엔드 투 엔드 트레이닝 가능한 딥 러닝 기반 비디오 코덱을 개발한다.
• 키 프레임 간 반복적인 이미지 보간으로 간주함으로써 영상 압축 효율을 향상시킨다.
• 학습된, 시각적으로 충실한 보간을 통해 전통적 코덱에서 흔한 블록 아티팩트를 제거한다.
• 계층적 보간과 적응형 엔트로피 코딩을 활용해 저비트레이트에서도 높은 시각적 품질을 달성한다.
• 특정 작업에 맞게 튜닝하지 않고도 다양한 영상 콘텐츠, 해상도, 품질 수준에서 일반화 성능을 입증한다.

제안 방법

• 각 수준에서 점점 가까운 기준 프레임 간 보간을 수행하는 계층적 아키텍처를 사용하여, 낮은 수준에서의 冗餘를 감소시킨다.
• 표준 딥 이미지 압축 오토인코더를 사용해 키 프레임을 압축하며, 이는 이진 블로킹과 적응형 산술 코딩을 포함한다.
• 사전 계산된 운동 추정치(예: 광학 흐름 또는 블록 운동)를 통합한 U-Net 기반 보간 네트워크를 통해 중간 프레임을 재구성한다.
• 이웃 프레임에서 유추할 수 없는 잔차 콘텐츠를 별도의 인코더가 캡처하여, 보간의 모호함을 제거할 수 있는 작은 압축 가능한 코드를 생성한다.
• 잔차의 공간적 중복성을 3D PixelCNN과 적응형 산술 코딩을 사용해 추가로 압축하여 비트레이트 효율을 향상시킨다.
• 전체 시스템은 재구성 오차를 최소화하도록 엔드 투 엔드로 트레이닝되며, 시각적 품질과 압축 비트레이트 최적화를 위한 목표를 가진다.

실험 결과

연구 질문

• RQ1 영상 압축이 키 프레임 간 반복적인 딥 이미지 보간 작업으로 효과적으로 재정의될 수 있는가?
• RQ2 엔드 투 엔드로 학습된 코덱이 H.264와 MPEG-4 Part 2와 같은 수작업 히وري스틱 코덱보다 비트레이트-왜곡 성능과 시각적 품질 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ3 학습된 보간 네트워크에 운동 추정치를 통합하면 압축 효율성이 크게 향상되고 아티팩트가 감소하는가?
• RQ4 한 개의 데이터셋에서 트레이닝된 단일 모델이 다양한 영상 콘텐츠, 해상도, 품질 수준에서 일반화 가능한가?
• RQ5 계층적 보간이 얼마나 높은 시각적 정밀도를 유지하면서 비트레이트를 줄이는가?

주요 결과

• 블렌더 테어스 오브 스틸 영상에서, 제안된 코덱은 0.080 BPP에서 MS-SSIM 0.984를 달성하여 MPEG-4 Part 2(0.946)를 능가하고 H.264(0.980)와 동등한 성능을 보였다.
• 고해상도 UVG 데이터셋에서 코덱은 PSNR 측면에서 H.264를 초월하고 HEVC와 동등한 성능을 보이며 고품질에서 뛰어난 성능을 입증했다.
• 키 프레임 간 보간을 활용함으로써 표준 딥 이미지 압축 대비 비트레이트를 한 단계 낮추는 데 성공했다.
• 전통적 코덱과 달리 저비트레이트에서도 블록 아티팩트 없이 시각적으로 충실한 재구성을 제공한다.
• Kinetics-5K, VTL, UVG 등 다양한 데이터셋에서 일관된 성능을 보이며, 다양한 해상도, 콘텐츠 유형, 영상 품질 수준에서 잘 일반화된다.
• 계층적 보간은 비트레이트 감소에 크게 기여하며, 계층의 하위 수준에서 가장 큰 압축 이득을 제공한다.