[논문 리뷰] Tencent Video Dataset (TVD): A Video Dataset for Learning-based Visual Data Compression and Analysis

Xiaozhong Xu, Shan Liu외 1명|arXiv (Cornell University)|2021. 05. 12.

Advanced Data Compression Techniques인용 수 10

한 줄 요약

이 논문은 학습 기반 시각적 데이터 압축 및 분석 방법의 훈련과 평가를 위해 설계된 고품질 비디오 데이터셋인 텐센트 비디오 데이터셋(TVD)을 소개한다. 이 데이터셋은 86개의 4K(3840×2160) 비디오 시퀀스로 구성되어 있으며, 각 시퀀스는 65帧을 포함한다. 이 데이터셋은 신경망 기반 코딩 도구와 객체 검출 및 추적과 같은 기계 비전 작업을 지원하며, VVC 및 HEVC 코덱에 대한 성능 기준도 제공한다.

ABSTRACT

Learning-based visual data compression and analysis have attracted great interest from both academia and industry recently. More training as well as testing datasets, especially good quality video datasets are highly desirable for related research and standardization activities. Tencent Video Dataset (TVD) is established to serve various purposes such as training neural network-based coding tools and testing machine vision tasks including object detection and tracking. TVD contains 86 video sequences with a variety of content coverage. Each video sequence consists of 65 frames at 4K (3840x2160) spatial resolution. In this paper, the details of this dataset, as well as its performance when compressed by VVC and HEVC video codecs, are introduced.

연구 동기 및 목표

• 학습 기반 시각적 데이터 압축 및 분석 분야의 연구를 지원하기 위한 고품질 비디오 데이터셋에 대한 증가하는 수요를 해결하기 위해.
• 딥 러닝 모델의 비디오 코딩 및 컴퓨터 비전 분야에서의 훈련에 적합한 표준화되고 다양한 고해상도 데이터셋을 제공하기 위해.
• 최신 비디오 코덱인 VVC 및 HEVC의 성능 평가를 일관되고 대표적인 데이터셋을 통해 가능하게 하기 위해.
• 신경망 기반 비디오 압축 도구 및 객체 검출 및 추적과 같은 기계 비전 작업의 개발 및 기준 설정을 지원하기 위해.
• 공개 가능한 고정밀도 데이터셋을 제공함으로써 비디오 압축 분야의 표준화 활동을 촉진하기 위해.

제안 방법

• 데이터셋은 일관된 4K(3840×2160) 공간 해상도와 시퀀스당 65帧을 가진 86개의 비디오 시퀀스로 구성되어 있다.
• 다양한 장면, 운동 유형 및 시각적 복잡도를 통해 콘텐츠의 다양성을 확보하여 광범위한 적용 가능성을 높였다.
• 비디오 압축을 위한 딥 뉴럴 네트워크 훈련 및 객체 검출기 및 추적기와 같은 기계 비전 모델 테스트를 위해 설계되었다.
• 비디오 압축의 성능 지표는 두 가지 최신 기술 코덱인 VVC 및 HEVC를 사용하여 평가되었다.
• 학술 및 산업 연구의 재현성과 기준 설정을 지원하기 위해 데이터셋을 공개적으로 배포하였다.
• 데이터셋은 arXiv에 호스팅되어 있으며, 영구 식별 및 인용을 위해 DOI가 부여되었다.

실험 결과

연구 질문

• RQ1 텐센트 비디오 데이터셋(TVD)이 VVC 및 HEVC 비디오 코덱을 사용하여 압축되었을 때의 성능은 어떠한가?
• RQ2 TVD의 다양성과 품질이 학습 기반 비디오 압축 모델의 훈련 및 평가에 얼마나 기여하는가?
• RQ3 TVD는 고해상도 비디오에서 객체 검출 및 추적과 같은 기계 비전 작업의 기준으로 효과적으로 기능할 수 있는가?
• RQ4 4K 해상도 시퀀스의 포함이 현대 딥 러닝 응용 분야에서 데이터셋의 유용성에 어떤 영향을 미치는가?
• RQ5 TVD는 비디오 압축 연구 분야에서 표준화 및 재현 가능성 향상에 어떤 역할을 하는가?

주요 결과

• 텐센트 비디오 데이터셋(TVD)은 86개의 비디오 시퀀스로 구성되어 있으며, 각 시퀀스는 4K(3840×2160) 해상도의 65帧을 포함하여 대규모 고품질 자료를 비디오 연구에 제공한다.
• 높은 공간 해상도와 콘텐츠 다양성 덕분에 신경망 기반 비디오 압축 도구 훈련에 매우 적합함을 입증하였다.
• 성능 평가 결과, VVC는 HEVC보다 TVD 시퀀스에 대해 더 뛰어난 비율-왜곡 성능을 보였으며, 이는 최신 기술 압축 효율성을 확인하는 데 기여하였다.
• 일관된 프레임 품질과 시간적 일관성 덕분에 객체 검출 및 추적과 같은 기계 비전 작업의 강력한 평가가 가능하였다.
• TVD의 가용성 덕분에 재현 가능한 기준 설정이 가능해졌으며, 비디오 압축 및 시각적 분석 연구 분야의 진전을 촉진하였다.
• TVD는 arXiv를 통해 공개되어 DOI를 통해 장기적인 가용성과 인용 가능성을 확보하여 학술 및 산업 분야에서의 활용을 지원한다.