[논문 리뷰] CDFI: Compression-Driven Network Design for Frame Interpolation

Tianyu Ding, Luming Liang외 2명|arXiv (Cornell University)|2021. 03. 18.

Advanced Vision and Imaging참고 문헌 67인용 수 6

한 줄 요약

CDFI는 압축 기반 프레임 보간 기반 프레임 보간 프레임워크를 제안하며, 먼저 과도한 파라미터를 가진 최신 모델인 AdaCoF 모델을 희소성 유도 최적화를 통해 정교하게 정제하여 크기를 10배 작게 줄였고, 성능은 유사하게 유지하였다. 이후 다중 해상도 워핑 모듈을 도입하여 세부 사항 보존 및 운동 처리 능력을 향상시켜 원래 AdaCoF 모델의 25% 크기이면서도 Middlebury에서 PSNR가 1 dB 이상 높고, 정확도와 효율성 면에서 최신 기술 수준을 뛰어넘거나 뒤지지 않는 성능을 달성하였다.

ABSTRACT

DNN-based frame interpolation--that generates the intermediate frames given two consecutive frames--typically relies on heavy model architectures with a huge number of features, preventing them from being deployed on systems with limited resources, e.g., mobile devices. We propose a compression-driven network design for frame interpolation (CDFI), that leverages model pruning through sparsity-inducing optimization to significantly reduce the model size while achieving superior performance. Concretely, we first compress the recently proposed AdaCoF model and show that a 10X compressed AdaCoF performs similarly as its original counterpart; then we further improve this compressed model by introducing a multi-resolution warping module, which boosts visual consistencies with multi-level details. As a consequence, we achieve a significant performance gain with only a quarter in size compared with the original AdaCoF. Moreover, our model performs favorably against other state-of-the-arts in a broad range of datasets. Finally, the proposed compression-driven framework is generic and can be easily transferred to other DNN-based frame interpolation algorithm. Our source code is available at https://github.com/tding1/CDFI.

연구 동기 및 목표

• 기존의 DNN 기반 프레임 보간 모델들이 이동 또는 엣지 디바이스에 배포하기에 너무 크기 때문에 자원 소모가 크고 비효율적인 문제를 해결하기 위해.
• 초과 파rameter화된 최신 기술 수준의 모델이 성능 손실 없이도 압축이 가능한 잠재적 여유를 포함하고 있는지 조사하기 위해.
• 모델 압축을 설계 가이드로 삼아 더 작고 효율적이면서도 성능 향상된 모델을 만들 수 있는 일반적이고 이식 가능한 프레임워크를 개발하기 위해.
• 작고 압축된 모델을 아키텍처적 개선(특히 다중 해상도 워핑 모듈)을 통해 더욱 효과적으로 오염 및 세밀한 디테일을 처리할 수 있도록 향상시키기 위해.

제안 방법

• 희소성 유도 최적화를 적용하여 AdaCoF 모델을 정교하게 조정하고 정제함으로써 크기를 10배 줄였고, 성능은 유사하게 유지함.
• 입력 프레임의 특징 피라미드를 활용하여 운동 일관성과 디테일 보존을 향상시키는 다중 해상도 워핑 모듈을 도입함.
• 다양한 해상도 수준의 특징을 조합할 수 있는 경로 선택 메커니즘을 설계하여 큰 운동과 세밀한 디테일을 효과적으로 처리함.
• 압축된 모델을 경량 백본으로 활용하고, 특정 아키텍처 개선을 통해 원래 모델을 뛰어넘는 성능 향상을 이룸.
• 압축 과정에서 도출된 통찰을 바탕으로 아키텍처 재설계를 유도하여 더 효율적이고 정확한 최종 모델을 구현함.

실험 결과

연구 질문

• RQ1 AdaCoF와 같은 최신 기술 수준의 프레임 보간 모델을 크게 압축한 버전이 경쟁력 있는 성능을 유지할 수 있는가? 이는 원래 아키텍처에 다수의 여유가 있음을 시사하는가?
• RQ2 모델 압축 과정이 더 효율적이고 정확한 모델 설계를 위한 아키텍처 통찰을 드러내는가?
• RQ3 압축된, 작고 정제된 모델이 다중 해상도 특징 융합과 같은 타겟된 아키텍처 개선을 통해 추가로 향상될 수 있는가?
• RQ4 제안된 압축 기반 설계 프레임워크는 다른 DNN 기반 프레임 보간 모델에 일반화 가능한가?

주요 결과

• 10배로 압축된 AdaCoF 모델은 원본과 유사한 성능을 달성하여 원본 모델이 상당한 여유를 지닌다는 것을 입증함.
• 압축된 백본을 기반으로 한 최종 CDFI 모델은 Middlebury 데이터셋에서 PSNR 33.45를 기록하여 원본 AdaCoF보다 1 dB 이상 높고, 크기는 원본의 25% 뿐이지만 성능은 뛰어남.
• DAVIS 및 Vimeo-90K 데이터셋에서 CDFI는 PSNR와 SSIM 면에서 최신 기술 수준의 방법을 뛰어넘거나 동등하게 유지하면서도 FLOPs와 모델 크기가 크게 감소함.
• 다중 해상도 워핑 모듈과 경로 선택 메커니즘은 원본 AdaCoF보다 오염 영역과 무늬가 풍부한 영역에서 큰 운동과 세밀한 디테일을 더 효과적으로 처리함.
• 제안된 프레임워크는 일반적이며 다른 DNN 기반 프레임 보간 모델에 적용 가능함을 보여주었으며, AdaCoF에 대한 성공적인 적용을 통해 이를 입증함.