[논문 리뷰] Video Coding for Machine: Compact Visual Representation Compression for Intelligent Collaborative Analytics

Wenhan Yang, Haofeng Huang외 3명|arXiv (Cornell University)|2021. 10. 18.

Visual Attention and Saliency Detection참고 문헌 42인용 수 14

한 줄 요약

이 논문은 저비트레이트에서 다양한 머신 비전 분석을 지원하는 컴act한 다중작업 시각 표현 압축을 가능하게 하는 비디오 코딩을 위한 기계(VCM)를 위한 코드북 하이퍼프리오 모델을 제안한다. 깊이 있는 특징과 의미적 레이블 간의 차원 차이를 줄임으로써, 이 방법은 뛰어난 특징 압축 효율성을 달성하고 다양한 작업 간의 효과적인 전이 학습을 가능하게 하여 기존의 BPG와 같은 전통적 이미지 코덱보다 후행 분석 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

Video Coding for Machines (VCM) is committed to bridging to an extent separate research tracks of video/image compression and feature compression, and attempts to optimize compactness and efficiency jointly from a unified perspective of high accuracy machine vision and full fidelity human vision. In this paper, we summarize VCM methodology and philosophy based on existing academia and industrial efforts. The development of VCM follows a general rate-distortion optimization, and the categorization of key modules or techniques is established. From previous works, it is demonstrated that, although existing works attempt to reveal the nature of scalable representation in bits when dealing with machine and human vision tasks, there remains a rare study in the generality of low bit rate representation, and accordingly how to support a variety of visual analytic tasks. Therefore, we investigate a novel visual information compression for the analytics taxonomy problem to strengthen the capability of compact visual representations extracted from multiple tasks for visual analytics. A new perspective of task relationships versus compression is revisited. By keeping in mind the transferability among different machine vision tasks (e.g. high-level semantic and mid-level geometry-related), we aim to support multiple tasks jointly at low bit rates. In particular, to narrow the dimensionality gap between neural network generated features extracted from pixels and a variety of machine vision features/labels (e.g. scene class, segmentation labels), a codebook hyperprior is designed to compress the neural network-generated features. As demonstrated in our experiments, this new hyperprior model is expected to improve feature compression efficiency by estimating the signal entropy more accurately, which enables further investigation of the granularity of abstracting compact features among different tasks.

연구 동기 및 목표

• 다양한 머신 비전 작업을 위한 일반화 가능하고 저비트레이트의 시각 표현 압축의 부족을 해결한다.
• 깊은 신경망 특징과 고수준 의미적 레이블(예: 장면 클래스, 세그멘테이션) 사이의 차원 차이를 줄여 효율적인 압축을 가능하게 한다.
• 압축과 특징 유용성 최적화를 공동으로 수행함으로써 다양한 작업 간의 협업 분석을 가능하게 한다.
• 코드북 기반 하이퍼프리오를 사용한 정확한 엔트로피 추정을 통해 특징 압축 효율성을 향상시킨다.
• 하나의 작업 집합에서 훈련된 압축 표현을 사용해 새로운 후행 작업을 지원할 수 있도록 하며, 전이 가능성을 입증한다.

제안 방법

• 다양한 머신 비전 작업 간의 공통 잠재 표현을 학습함으로써 차원 불일치 문제를 줄이는 코드북 하이퍼프리오 모델을 설계한다.
• 다른 작업의 특징을 통합된 컴팩트한 표현 공간으로 정렬하기 위해 (역-)전이 매핑을 통합한다.
• 압축 모델을 비용-편차(R-D) 균형을 고려해 최적화하며, 일부 작업의 지도를 받는 동안도 새로운 작업에 대한 추론을 가능하게 한다.
• 기존의 표준 프리오보다 더 정확한 신호 엔트로피 추정을 가능하게 하는 하이퍼프리오 메커니즘을 활용하여 압축 효율성을 향상시킨다.
• 예: 장면 분류, 세그멘테이션, 표면 법선 추정 등 다양한 작업에 대해 엔드 투 엔드로 훈련하여 전이 가능한 특징을 학습한다.
• 압축 표현을 사용해 새로운 작업에 대한 성능을 평가하며, 외부 및 소스+ 설정을 통해 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 저비트레이트에서 여러 머신 비전 작업을 지원하는 컴팩트한 시각 표현을 효율적으로 압축할 수 있는가?
• RQ2 단일 압축 표현이 다양한 서로 관련 없는 머신 비전 작업에 얼마나 일반화될 수 있는가?
• RQ3 코드북 기반 하이퍼프리오는 다중 작업 딥 페처를 압축하는 데 있어 표준 프리오를 초월할 수 있는가?
• RQ4 에코더 측에서 직접 지도를 받지 않는 새로운 작업의 소스 특징을 포함하면 그 작업의 성능에 어떤 영향을 미치는가?
• RQ5 압축 효율성과 외부 분석 작업 지원 능력 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 코드북 하이퍼프리오 모델은 기준 방법보다 더 뛰어난 압축 효율성을 달성하여 비트스트림 크기를 줄이면서도 특징의 유용성을 유지한다.
• 이 방법은 효과적인 전이 학습을 가능하게 한다: 두 작업(예: 장면 분류 및 세그멘테이션)에서 훈련된 압축 표현은 새로운 작업(예: 객체 분류)을 높은 정확도로 지원할 수 있다.
• 소스+ 설정은 훈련 중에 직접 지도를 받지 않는 새로운 작업의 특징을 에코더 측에 포함하지만, '외부' 및 '내부' 설정보다 그 작업에서 더 뛰어난 성능을 달성한다.
• 최첨단의 작업 무관 이미지 코덱인 BPG와 비교해, 동일한 검증 세트에서 객체 분류 작업에서 더 높은 정확도(53.50% vs. 54.56% bpp)를 달성하고, 재조명 작업의 비트레이트도 낮춘다(0.205 vs. 0.222 bpp).
• 모델는 강력한 일반화 능력을 보이며, 직접 지도를 받지 않은 작업의 압축 특징조차도 경쟁 가능한 성능을 유지하며 외부 분석 작업을 지원할 수 있다.