[논문 리뷰] Recent Standard Development Activities on Video Coding for Machines

Wen Gao, Shan Liu외 4명|arXiv (Cornell University)|2021. 05. 26.

Visual Attention and Saliency Detection참고 문헌 7인용 수 31

한 줄 요약

이 논문은 MPEG VCM의 최근 활동을 조사하고, 비디오 코딩을 기계 비전 작업에 최적화하기 위한 사용 사례, 요구사항, 처리 파이프라인, 평가 프레임워크 및 제안된 기술 솔루션을 개요로 제시한다.

ABSTRACT

In recent years, video data has dominated internet traffic and becomes one of the major data formats. With the emerging 5G and internet of things (IoT) technologies, more and more videos are generated by edge devices, sent across networks, and consumed by machines. The volume of video consumed by machine is exceeding the volume of video consumed by humans. Machine vision tasks include object detection, segmentation, tracking, and other machine-based applications, which are quite different from those for human consumption. On the other hand, due to large volumes of video data, it is essential to compress video before transmission. Thus, efficient video coding for machines (VCM) has become an important topic in academia and industry. In July 2019, the international standardization organization, i.e., MPEG, created an Ad-Hoc group named VCM to study the requirements for potential standardization work. In this paper, we will address the recent development activities in the MPEG VCM group. Specifically, we will first provide an overview of the MPEG VCM group including use cases, requirements, processing pipelines, plan for potential VCM standards, followed by the evaluation framework including machine-vision tasks, dataset, evaluation metrics, and anchor generation. We then introduce technology solutions proposed so far and discuss the recent responses to the Call for Evidence issued by MPEG VCM group.

연구 동기 및 목표

• MPEG VCM 그룹의 범위, 사용 사례 및 기계용 비디오 코딩에 대한 요구사항을 요약한다.
• VCM의 처리 파이프라인과 계획된 표준들을 제시한다.
• 기계 비전 작업, 데이터 세트, 지표 및 앵커 생성을 포함한 평가 프레임워크를 설명한다.
• 지금까지 제안된 기술 솔루션과 증거 요청(Call for Evidence)에 대한 응답을 요약한다.

제안 방법

• MPEG VCM 문서 및 증거 요청 응답의 검토.
• VCM 사용 사례, 요구사항 및 처리 파이프라인의 설명.
• 기계 비전 작업, 데이터 세트 및 지표를 포함한 평가 프레임워크의 개요.
• 제안된 기술 솔루션의 개요 및 잠재적 표준화와의 정렬.
• 잠재적 VCM 표준 및 앵커 생성을 위한 계획에 대한 논의.

실험 결과

연구 질문

• RQ1 MPEG VCM에서 기계용 비디오 코딩을 주도하는 사용 사례와 요구사항은 무엇인가?
• RQ2 VCM 표준화를 위해 어떤 처리 파이프라인이 구상되어 있는가?
• RQ3 VCM에 제안된 평가 프레임워크 요소(작업, 데이터세트, 지표, 앵커)는 무엇인가?
• RQ4 VCM에 대해 어떤 기술 솔루션이 제안되었고 증거 요청에 어떻게 응답했는가?

주요 결과

• VCM은 기계 중심의 비디오 압축 요구를 다루며 인간 중심 사용 사례와 다릅니다.
• 기계 비전 작업, 데이터 세트, 지표 및 앵커 생성을 포함한 구조화된 평가 프레임워크가 제안되었습니다.
• 지금까지 제안된 기술 솔루션은 MPEG VCM의 증거 요청 응답과 관련해 논의됩니다.
• 잠재적 VCM 표준에 대한 명확한 계획과 개략적 처리 파이프라인이 있습니다.