[논문 리뷰] A Coding Framework and Benchmark towards Low-Bitrate Video Understanding

Yuan Tian, Lu Guo외 4명|arXiv (Cornell University)|2022. 02. 06.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 이해 중심 영상 코딩(UVC) 프레임워크를 제안한다. 이는 표준 압축 영상과 함께 학습 가능한 분석 비트스트림을 전송함으로써 후행 영상 이해 작업의 성능을 햖थ하는 이중 스트림 영상 압축 시스템이다. 엣지 맵에서의 자기지도 대비 학습과 적응형, 동적 네트워크 아키텍처를 활용하여 UVC는 일곱 개의 데이터셋과 네 가지 압축 수준에서 행동 인식, 탐지, 추적 성능을 크게 향상시켰으며, H.264 및 H.265와 같은 산업용 코덱을 비해 최소한의 비트 비용 증가로도 슈퍼어리어어를 달성한다.

ABSTRACT

Video compression is indispensable to most video analysis systems. Despite saving transportation bandwidth, it also deteriorates downstream video understanding tasks, especially at low-bitrate settings. To systematically investigate this problem, we first thoroughly review the previous methods, revealing that three principles, i.e., task-decoupled, label-free, and data-emerged semantic prior, are critical to a machine-friendly coding framework but are not fully satisfied so far. In this paper, we propose a traditional-neural mixed coding framework that simultaneously fulfills all these principles, by taking advantage of both traditional codecs and neural networks (NNs). On one hand, the traditional codecs can efficiently encode the pixel signal of videos but may distort the semantic information. On the other hand, highly non-linear NNs are proficient in condensing video semantics into a compact representation. The framework is optimized by ensuring that a transportation-efficient semantic representation of the video is preserved w.r.t. the coding procedure, which is spontaneously learned from unlabeled data in a self-supervised manner. The videos collaboratively decoded from two streams (codec and NN) are of rich semantics, as well as visually photo-realistic, empirically boosting several mainstream downstream video analysis task performances without any post-adaptation procedure. Furthermore, by introducing the attention mechanism and adaptive modeling scheme, the video semantic modeling ability of our approach is further enhanced. Finally, we build a low-bitrate video understanding benchmark with three downstream tasks on eight datasets, demonstrating the notable superiority of our approach. All codes, data, and models will be available at \url{https://github.com/tianyuan168326/VCS-Pytorch}.

연구 동기 및 목표

• 표준 영상 압축이 의미론적으로 중요한 정보를 손실시켜 영상 이해 성능이 떨어지는 문제를 해결하기 위해.
• 압축 효율성을 희생시키지 않고 후행 작업에 필수적인 정보를 유지하는 영상 코딩 프레임워크를 설계하기 위해.
• 다양한 영상 이해 작업에 동시에 적용 가능한 단일, 한 번의 훈련으로 프레임워크를 배포할 수 있도록 하기 위해.
• 다양한 데이터셋과 압축 수준에서 압축된 영상 이해를 평가하기 위한 종합적인 벤치마크를 구축하기 위해.

제안 방법

• 표준 산업용 영상 비트스트림과 후행 작업 성능 향상을 위한 학습 가능한 분석 비트스트림을 포함하는 이중 스트림 아키텍처를 도입한다.
• 후행 모델이나 레이블이 없는 상황에서도 최적화가 가능하도록, 작업에 종속되지 않는 대비 학습 기반의 신경 엣지 맵을 활용한다.
• 중복을 줄이고 비트 비용을 감소시키기 위해 동적 컨볼루션 커널과 차이 맵 경로를 갖춘 적응형 인코더 네트워크(Enc-Net)를 설계한다.
• 영상 스트림이 이미 잘 캡처한 특징을 건너뛰기 위해 어텐션 메커니즘을 사용하여 압축 효율성을 향상시킨다.
• 디코더에서 분석 스트림을 효율적으로 재구성하기 위해 적응형 커널 인덱싱을 갖춘 수신자 네트워크(R-Net)를 활용한다.
• Transformer나 하이퍼프리오르 모델과 같은 고급 구성 요소를 통합할 수 있도록 탄력적인 확장성을 제공하며, 재훈련 없이도 H.265로 업그레이드할 수 있다.

실험 결과

연구 질문

• RQ1 압축된 영상에서 영상 이해를 위한 의미론적으로 중요한 정보를 유지하기 위해 학습 가능한 분석 비트스트림을 효과적으로 활용할 수 있는가?
• RQ2 후행 모델이나 레이블 데이터에 접근할 수 없는 상황에서 분석 스트림을 어떻게 최적화할 수 있는가?
• RQ3 적응형 및 동적 네트워크 아키텍처가 성능을 유지하면서 분석 스트림의 비트 비용을 얼마나 줄일 수 있는가?
• RQ4 UVC 프레임워크는 다양한 영상 이해 작업과 데이터셋, 다양한 압축 수준에서 어떻게 일반화되는가?

주요 결과

• H.265를 영상 코덱으로 사용할 경우, H.264 기준보다 Top-1 정확도에서 14.47%의 절대적 향상과 Top-5 정확도에서 8.72%의 향상을 달성하여 뛰어난 성능 향상을 입증한다.
• 제거 실험 결과, 차이 맵 경로를 제거할 경우 분석 스트림의 비트 비용이 약 35% 증가함을 확인하여, 이 경로가 중복을 줄이는 데 기여한다는 것을 입증한다.
• 적응형 컨볼루션을 고정형 또는 일반 컨볼루션으로 대체할 경우 성능 저하가 심각하게 발생함을 통해, Enc-Net에서 입력에 적응하는 커널 학습의 가치를 입증한다.
• Enc-Net의 엣지 측 계산 비용은 Balle 등 [95]의 결과보다 20배 낮아 자원 제약이 있는 장치에 배포하기에 적합하다.
• 0비트 모델 버전은 엣지 측에 추가 계산 비용 없이도 뛰어난 성능을 달성하여, 이 프레임워크의 효율성을 입증한다.
• UVC는 모든 일곱 개인대규모 데이터셋과 네 가지 압축 수준에서 행동 인식, 행동 탐지, 다중 객체 추적 작업에서 산업용 코덱을 일관되게 능가한다.