[論文レビュー] Tencent Video Dataset (TVD): A Video Dataset for Learning-based Visual Data Compression and Analysis

Xiaozhong Xu, Shan Liu+1 more|arXiv (Cornell University)|May 12, 2021

Advanced Data Compression Techniques被引用数 10

ひとこと要約

本論文は、学習ベースの視覚的データ圧縮および分析手法のトレーニングと評価を目的として、86の4K（3840×2160）動画シーケンス（各シーケンスに65フレーム）を含む高品質な動画データセット、Tencent Video Dataset（TVD）を紹介する。このデータセットはニューラルネットワークベースのコーディングツールや、物体検出やトラッキングなどの機械学習ビジョンタスクをサポートし、VVCおよびHEVCコーデックのパフォーマンスベンチマークを提供する。

ABSTRACT

Learning-based visual data compression and analysis have attracted great interest from both academia and industry recently. More training as well as testing datasets, especially good quality video datasets are highly desirable for related research and standardization activities. Tencent Video Dataset (TVD) is established to serve various purposes such as training neural network-based coding tools and testing machine vision tasks including object detection and tracking. TVD contains 86 video sequences with a variety of content coverage. Each video sequence consists of 65 frames at 4K (3840x2160) spatial resolution. In this paper, the details of this dataset, as well as its performance when compressed by VVC and HEVC video codecs, are introduced.

研究の動機と目的

• 学習ベースの視覚的データ圧縮および分析分野における研究を支援する高品質な動画データセットの需要が高まっているのに対応するため。
• 深層学習モデルの動画コーディングおよびコンピュータビジョン分野でのトレーニングに適した標準的で多様性に富み、高解像度のデータセットを提供するため。
• VVCおよびHEVCなどの現代的コーデックのパフォーマンスを一貫性があり代表的なデータセット上で評価可能にするため。
• ニューラルネットワークベースの動画圧縮ツールおよび物体検出やトラッキングのようなビジョンタスクの開発とベンチマークを支援するため。
• 公開可能な高精度なデータセットを提供することで、動画圧縮分野における標準化活動を促進するため。

提案手法

• データセットは、空間的解像度が一貫した4K（3840×2160）で、各シーケンスに65フレームを含む86の動画シーケンスから構成される。
• さまざまなシーン、動きの種類、視覚的複雑さをカバーすることで、コンテンツの多様性を確保し、広範な適用性を実現する。
• 動画圧縮のための深層ニューラルネットワークのトレーニングおよび、物体検出器やトラッカーなどの機械学習モデルのテストに使用することを目的として設計されている。
• 動画圧縮のパフォーマンス指標は、2つの最先端のコーデック、VVCおよびHEVCを用いて評価されている。
• 学術的および産業的研究所における再現可能性とベンチマークの支援を目的として、データセットは公開されている。
• データセットはarXivにホスティングされ、永続的識別子としてDOIが割り当てられている。

実験結果

リサーチクエスチョン

• RQ1 Tencent Video Dataset（TVD）は、VVCおよびHEVCコーデックを用いて圧縮された場合、どのように動作するか？
• RQ2 TVDの多様性と品質は、学習ベースの動画圧縮モデルのトレーニングおよび評価をどの程度サポートするか？
• RQ3 TVDは、高解像度動画における物体検出やトラッキングなどの機械学習ビジョンタスクのベンチマークとして効果的に機能できるか？
• RQ4 4K解像度のシーケンスが、現代のディープラーニングアプリケーションにおけるデータセットの有用性にどのように影響するか？
• RQ5 TVDは、動画圧縮研究における標準化および再現可能性の進展に果たす役割は何か？

主な発見

• Tencent Video Dataset（TVD）は、86の動画シーケンスを含み、各シーケンスに4K（3840×2160）解像度の65フレームが含まれており、動画研究のための大規模で高品質なリソースを提供する。
• 高い空間的解像度とコンテンツの多様性のおかげで、ニューラルネットワークベースの動画圧縮ツールのトレーニングに強く適していることが示された。
• パフォーマンス評価では、TVDシーケンスに適用した際、VVCがHEVCよりも優れたレート・ディストーション性能を示しており、最先端の圧縮効率を確認した。
• 一貫したフレーム品質と時間的整合性のおかげで、物体検出やトラッキングなどの機械学習ビジョンタスクの強固な評価が可能である。
• TVDの利用可能性により、再現可能なベンチマークが可能となり、動画圧縮および視覚的分析研究分野における進展を促進する。
• データセットはarXiv経由で公開されており、DOIが付与されているため、学術的および産業的利用において長期的な可用性と引用可能性が保証される。