[논문 리뷰] CNeRV: Content-adaptive Neural Representation for Visual Data

Hao Chen, Matt Gwilliam외 3명|arXiv (Cornell University)|2022. 11. 18.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

CNeRV는 자동에코더의 일반화 능력과 암묵적 신경 표현의 압축성의 장점을 결합한 콘텐츠 적응형 신경 표현을 제안한다. 단일 레이어의 미니 인코더를 사용해 콘텐츠 인식 임베딩을 생성함으로써, CNeRV는 미리 보지 않은 프레임에서 120배 빠른 인코딩을 달성하며, 특히 미리 보지 않은 이미지에서 재구성 품질과 속도 면에서 NeRV와 자동에코더를 능가한다.

ABSTRACT

Compression and reconstruction of visual data have been widely studied in the computer vision community, even before the popularization of deep learning. More recently, some have used deep learning to improve or refine existing pipelines, while others have proposed end-to-end approaches, including autoencoders and implicit neural representations, such as SIREN and NeRV. In this work, we propose Neural Visual Representation with Content-adaptive Embedding (CNeRV), which combines the generalizability of autoencoders with the simplicity and compactness of implicit representation. We introduce a novel content-adaptive embedding that is unified, concise, and internally (within-video) generalizable, that compliments a powerful decoder with a single-layer encoder. We match the performance of NeRV, a state-of-the-art implicit neural representation, on the reconstruction task for frames seen during training while far surpassing for frames that are skipped during training (unseen images). To achieve similar reconstruction quality on unseen images, NeRV needs 120x more time to overfit per-frame due to its lack of internal generalization. With the same latent code length and similar model size, CNeRV outperforms autoencoders on reconstruction of both seen and unseen images. We also show promising results for visual data compression. More details can be found in the project pagehttps://haochen-rye.github.io/CNeRV/

연구 동기 및 목표

• 비디오 압축 과정에서 NeRV와 같은 암묵적 신경 표현이 미리 보지 않은 프레임에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 자동에코더의 일반화 능력과 암묵적 표현의 압축성 및 단순성의 장점을 결합하기 위해.
• 특히 미리 보지 않은 이미지에서 각 프레임에 과적합되지 않는 빠른 콘텐츠 인식 인코딩을 가능하게 하기 위해.
• 최신 기술인 NeRV와 자동에코더와 비교해 뛰어난 재구성 품질과 인코딩 속도를 달성하기 위해.
• 학습된 임베딩과 모델 파라미터를 사용한 시각 데이터 압축에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 프레임 인덱스나 위치 인코딩에 의존하지 않고, 시각 콘텐츠를 인코딩하는 콘텐츠 적응형 임베딩(CAE)을 도입한다.
• 입력 프레임에서 압축된 콘텐츠 인식 잠재 코드를 생성하기 위해 단일 레이어의 미니 네트워크 인코더를 활용한다.
• 강력하고 공유되는 디코더 네트워크를 사용해 콘텐츠 적응형 임베딩에서 이미지를 재구성한다.
• 내부적으로 일반화 가능한 모델 설계를 통해, 각 프레임에 과적합되지 않고도 스킵된(미리 보지 않은) 프레임의 고품질 재구성을 가능하게 한다.
• 디코더의 인덕티브 바이어스를 활용해 대부분의 시각 사전 지식을 저장함으로써, 큰 잠재 코드에 대한 의존도를 최소화한다.
• 일부 프레임에서 훈련하면서도 다른 프레임으로 일반화할 수 있도록, 본문과 미리 보지 않은 이미지의 재구성 모두 최적화한다.

실험 결과

연구 질문

• RQ1 각 프레임에 과적합되지 않고도, 미리 보지 않은 프레임에서 고품질 재구성을 달성할 수 있는 신경 표현이 가능한가?
• RQ2 일반화 능력과 속도 면에서, 인덱스 기반 또는 위치 기반 인코딩에 비해 콘텐츠 적응형 임베딩은 어떻게 비교되는가?
• RQ3 작은 단일 레이어 인코더가 더 큰 자동에코더보다 재구성 품질과 인코딩 속도 면에서 뛰어난 성능을 낼 수 있는가?
• RQ4 자동에코더 스타일의 일반화 능력과 암묵적 표현의 압축성의 조합이 시각 데이터 압축에 어떻게 기여하는가?
• RQ5 H.264와 HEVC와 같은 전통적 코덱과 비교해 CNeRV는 비트레이트-왜곡 균형에서 어떻게 성능을 내는가?

주요 결과

• CNeRV는 자동에코더 대비 미리 보지 않은 프레임에서 +3.5 dB의 PSNR 향상을 달성하면서도, 본문 프레임의 성능도 유지한다.
• CNeRV는 NeRV 대비 미리 보지 않은 프레임을 120배 더 빠르게 인코딩한다. NeRV는 수용 가능한 재구성을 위해 각 프레임에 과적합이 필요하기 때문이다.
• 유사한 잠재 코드 길이와 유사한 모델 크기 조건에서, CNeRV는 본문 및 미리 보지 않은 이미지 재구성 모두에서 자동에코더를 능가한다.
• CNeRV는 더 적은 잡음과 이전 프레임의 영향이 스며들지 않는 방식으로 NeRV보다 더 뛰어난 재구성 품질을 달성한다.
• 전체 영상 압축 시, H.264와 HEVC와 유사한 비트레이트에서 CNeRV는 PSNR와 SSIM 면에서 모두 뛰어난 성능을 보인다.
• 이 방법은 보간된 임베딩을 사용해 빠른 프레임 보간을 가능하게 하며, 저프레임레이트 데이터셋에서는 CNeRV 수준에 근접한 성능을 달성하지만, Bunny와 같은 복잡한 시퀀스에서는 성능 저하가 발생한다.