[논문 리뷰] MobileCodec: Neural Inter-frame Video Compression on Mobile Devices

Hoang Le, Liang Zhang외 7명|arXiv (Cornell University)|2022. 07. 18.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

MobileCodec는 퀄컴의 AI 엔진을 활용하여 저비트레이트에서 고화질을 유지하면서 720p HD 영상을 31 FPS로 실시간으로 디코딩할 수 있는 모바일 기기용 최초의 신경망 내재 프레임 영상 디코더를 제시한다. 이 시스템은 양자화 인식 훈련과 병렬 엔트로피 코딩을 통해 효율적이고 비대칭적인 아키텍처를 사용하여 전력 제약이 있는 모바일 하드웨어에서 신경망 영상 압축의 실용적 구현을 가능하게 한다.

ABSTRACT

Realizing the potential of neural video codecs on mobile devices is a big technological challenge due to the computational complexity of deep networks and the power-constrained mobile hardware. We demonstrate practical feasibility by leveraging Qualcomm's technology and innovation, bridging the gap from neural network-based codec simulations running on wall-powered workstations, to real-time operation on a mobile device powered by Snapdragon technology. We show the first-ever inter-frame neural video decoder running on a commercial mobile phone, decoding high-definition videos in real-time while maintaining a low bitrate and high visual quality.

연구 동기 및 목표

• 상용 모바일 하드웨어에서 계산 및 전력 제약을 극복하면서 실시간 신경망 영상 디코딩의 가능성을 입증하는 것.
• 저지연과 높은 에너지 효율성을 갖춘 실용적인 비대칭 신경망 영상 코덱 아키텍처를 설계하는 것.
• 신경망 엔트로피 모델과 호환되는 병렬 엔트로피 코딩 알고리즘을 개발하여 효율적인 비트스트림 생성을 가능하게 하는 것.
• 모델 학습과 실제 구현 간 격차를 메우기 위해 종단 간 학습된 영상 압축을 모바일 플랫폼에서 실용적으로 구현하는 것.
• 퀄컴 AI 엔진에서 최적화된 추론을 통해 모바일 기기에서 실시간 디코딩 속도를 유지하면서도 경쟁적인 비트레이트-왜곡 성능을 달성하는 것.

제안 방법

• 수신기의 계산 부담을 줄이기 위해 인코더와 디코더 전용의 경량 네트워크를 별도로 설계한 비대칭 신경망 영상 코덱을 설계하는 것.
• 특징 공간에서 운동 보정과 잔여 신호를 동시에 처리하여 압축 효율을 향상하고 중복을 감소시키는 것.
• 전체 정밀도 신경망을 8비트 고정소수점 추론으로 변환하기 위해 양자화 인식 훈련을 적용하여 모바일 AI 가속기에서 효율적인 실행을 가능하게 하는 것.
• 신경망 엔트로피 모델의 출력을 효율적으로 코딩하는 병렬 엔트로피 코딩 알고리즘을 개발하여 인코딩 지연을 줄이고 처리량을 향상시키는 것.
• 고해상도에서 필터 수를 줄이고 수신기 측에서 더 작은 모델을 사용하여 MAC 연산 수를 최소화함으로써 네트워크 아키텍처를 최적화하는 것.
• 퀄컴 AI 엔진을 활용하여 하드웨어 가속 추론을 구현하여 상용 모바일 기기에서 실시간 성능을 보장하는 것.

실험 결과

연구 질문

• RQ1 상용 모바일 기기에서 전력과 지연 제약 조건 하에 신경망 내재 프레임 영상 코덱이 실시간 디코딩을 달성할 수 있는가?
• RQ2 신경망 영상 압축을 성능이나 시각적 품질을 희생시키지 않고 모바일 배포에 최적화할 수 있는가?
• RQ3 제한된 계산 자원을 가진 모바일 하드웨어에서 신경 코덱을 실용적으로 만들기 위해 필요한 아키텍처 및 알고리즘 수정은 무엇인가?
• RQ4 병렬 엔트로피 코딩은 신경 엔트로피 모델과 효과적으로 통합되어 모바일 플랫폼에서의 인코딩 효율을 향상시킬 수 있는가?
• RQ5 모바일 최적화 신경망 영상 코덱에서 비트레이트, 시각적 품질, 디코딩 속도 사이의 실현 가능한 트레이드오프는 무엇인가?

주요 결과

• MobileCodec는 상용 모바일 기기에서 31 프레임당 초(프레임/초, FPS)로 실시간 디코딩을 달성하여, 모바일 하드웨어에서 공개된 최초의 실시간 신경망 내재 프레임 영상 디코더임을 입증한다.
• Pexels 데이터셋의 다양한 영상 시퀀스를 기반으로 720p HD 영상을 평균 PSNR 40.18 dB, 평균 MSSSIM 0.9890로 디코딩한다.
• 수신기 측의 계산 부담은 송신기 측보다 최대 2배까지 낮으며, 단일 P-프레임을 디코딩하는 데 1 픽셀당 총 390.1 KMACs가 소요된다.
• 특히 저비트레이트에서 ffmpeg의 빠른 H.264 및 H.265 인코딩과 비교해도 경쟁적인 성능을 보이며, 유사 비트레이트에서 뛰어난 시각적 품질을 제공한다.
• 디코더의 총 파라미터 수는 1158만 개이며, 1 픽셀당 390.1 KMACs를 차지하여 모바일 배포에 매우 효율적임을 시사한다.
• 모델 양자화, 아키텍처 최적화, 하드웨어 인식 설계를 통해 신경망 영상 코덱이 모바일 플랫폼에서 성공적으로 구현될 수 있음을 시스템적으로 입증한다.