[논문 리뷰] NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling

Shishira R Maiya, Sharath Girish외 7명|arXiv (Cornell University)|2022. 12. 30.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

NIRVANA는 시간 클립 간 패치 단위 예측을 통해 영상을 모델링하는 확장성 있고 자동회귀적인 신경 암묵 영상 표현을 제안한다. 각 클립의 네트워크는 이전 클립의 가중치를 기반으로 적응형으로 양자화된 가중치로 초기화된다. 이는 12배 빠른 인코딩과 가변 비트레이트 압축을 가능하게 하며, 고해상도 재구성 품질을 유지하면서 UVG에서 37.70 PSNR를 달성하여 기존 방법을 능가한다.

ABSTRACT

Implicit Neural Representations (INR) have recently shown to be powerful tool for high-quality video compression. However, existing works are limiting as they do not explicitly exploit the temporal redundancy in videos, leading to a long encoding time. Additionally, these methods have fixed architectures which do not scale to longer videos or higher resolutions. To address these issues, we propose NIRVANA, which treats videos as groups of frames and fits separate networks to each group performing patch-wise prediction. This design shares computation within each group, in the spatial and temporal dimensions, resulting in reduced encoding time of the video. The video representation is modeled autoregressively, with networks fit on a current group initialized using weights from the previous group's model. To further enhance efficiency, we perform quantization of the network parameters during training, requiring no post-hoc pruning or quantization. When compared with previous works on the benchmark UVG dataset, NIRVANA improves encoding quality from 37.36 to 37.70 (in terms of PSNR) and the encoding speed by 12X, while maintaining the same compression rate. In contrast to prior video INR works which struggle with larger resolution and longer videos, we show that our algorithm is highly flexible and scales naturally due to its patch-wise and autoregressive designs. Moreover, our method achieves variable bitrate compression by adapting to videos with varying inter-frame motion. NIRVANA achieves 6X decoding speed and scales well with more GPUs, making it practical for various deployment scenarios.

연구 동기 및 목표

• 기존 암묵 신경 표현(INR) 기반 영상 압축 방법의 비효율성과 확장성 부족 문제를 해결하기 위해, 장시간의 인코딩 시간과 고정된 아키텍처로 인한 제약을 해결하고자 한다.
• 전체 프레임나 픽셀이 아닌, 여러 프레임으로 구성된 그룹 내에서 패치를 모델링하여 영상의 시공간 중복성을 효과적으로 활용하고자 한다.
• 해상도, 지속 시간, 운동 복잡도가 다양한 영상에 대해 유연한 압축을 가능하게 하기 위해, 적응형 자동회귀적 네트워크 초기화와 양자화를 통해 유연한 설정을 제공하고자 한다.
• 후처리 단계에서의 정규화나 양자화 없이도 고효율 압축을 달성하기 위해, 훈련 과정에서부터 양자화를 통합하고자 한다.
• INR 기반 영상 압축의 실용적 구현을 위해 디코딩 속도 향상과 GPU 간 확장성 향상을 도모하고자 한다.

제안 방법

• 영상은 시간 클립(프레임 그룹)으로 분할되고, 각 클립에 대해 시공간 볼륨의 패치 단위 예측을 위한 별도의 신경망을 피팅한다.
• 각 네트워크는 이전 클립의 네트워크 학습된 가중치를 기반으로 초기화되어, 시간적 일관성을 활용하는 자동회귀 모델링을 가능하게 한다.
• 훈련 과정에서 네트워크 가중치를 양자화함으로써, 후처리 단계의 압축 기법이 필요 없고 모델 엔트로피를 감소시킨다.
• 연속된 클립 네트워크 간 잔차를 인코딩하여 모델을 추가로 압축하고, 엔트로피 정규화를 통해 PSNR-BPP 간 상충 관계를 제어한다.
• 아키텍처는 해상도에 무관하다: 입력으로 패치 좌표를 사용함으로써 아키텍처 변경 없이 다양한 공간 해상도에 적응할 수 있다.
• 손실 함수는 양자화된 가중치의 엔트로피에 대한 정규화 항을 포함하여 비트레이트를 최소화한다.

실험 결과

연구 질문

• RQ1 기존 픽셀 또는 프레임 단위 방법에 비해 자동회귀적 패치 단위 INR 프레임워크가 영상 표현에서 인코딩 속도 향상과 압축 효율성 향상에 기여할 수 있는가?
• RQ2 클립 전용 네트워크의 자동회귀적 초기화 방식이 다양한 영상 지속 시간과 해상도에서 모델 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 훈련 과정 중에 네트워크 내부의 양자화가 후처리 모델 압축 기법의 필요성을 얼마나 줄일 수 있는가, 고해상도 재구성 품질을 유지하면서?
• RQ4 이 방법은 다양한 프레임 간 운동에 어떻게 적응하며, 자연스럽게 가변 비트레이트 압축을 달성할 수 있는가?
• RQ5 패치 크기, 그룹 크기, 훈련 반복 횟수는 영상 INR 압축에서 PSNR-BPP 간 상충 관계에 어떤 영향을 미치는가?

주요 결과

• NIRVANA는 UVG 데이터셋에서 37.70 PSNR를 달성하여 기존 최고 성능(37.36)보다 0.34 향상되었고, 동일한 압축률을 유지하였다.
• 이전의 INR 기반 영상 압축 방법 대비 인코딩 시간을 12배 단축시켜 실용성에 크게 기여하였다.
• 디코딩 속도는 6배 향상되었으며, 더 많은 GPU를 사용할수록 효율적으로 확장되어 분산 환경에서의 추론 속도 향상이 가능했다.
• 패치 크기를 8×8에서 48×48로 증가시키면 PSNR는 향상되지만, 동적 장면에서 잔차 엔트로피가 증가하여 BPP가 증가하였다.
• 3개의 프레임 그룹 크기가 0.8 BPP 이하의 영역에서 최적의 PSNR-BPP 상충 관계를 달성하였고, 더 큰 그룹 크기는 동적 콘텐츠에서 성능 저하를 초래하였다.
• 훈련 반복 횟수를 5000까지 늘일 경우, 점진적인 PSNR 향상이 이루어졌으며, 비트레이트 증가 없이 재구성 품질 향상이 가능함을 시사하였다.