[論文レビュー] A 3D Motion Vector Database for Dynamic Point Clouds

André Souto, Ricardo L. de Queiroz+1 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Vision and Imaging参考文献 3被引用数 6

ひとこと要約

本稿では、Microsoftおよび8iデータセットを用いたブロックベースの後向き運動推定を用いて、公開可能な3次元運動ベクトルデータベースを提示する。このデータベースは、9つのシーケンスの全フレームに対して、ブロックサイズM=8およびM=16の運動ベクトルを提供し、再計算を伴わずに効率的な圧縮および運動解析を可能にする。

ABSTRACT

Due to the large amount of data that point clouds represent and the differences in geometry of successive frames, the generation of motion vectors for an entire point cloud dataset may require a significant amount of time and computational resources. With that in mind, we provide a 3D motion vector database for all frames of two popular dynamic point cloud datasets. The motion vectors were obtained through translational motion estimation procedure that partitions the point clouds into blocks of dimensions M x M x M , and for each block, a motion vector is estimated. Our database contains motion vectors for M = 8 and M = 16. The goal of this work is to describe this publicly available 3D motion vector database that can be used for different purposes, such as compression of dynamic point clouds.

研究の動機と目的

• 大規模な動的ポイントクラウドシーケンスにおける運動推定の高コストな計算を軽減すること。
• 研究用に再利用可能で公開可能な3次元運動ベクトルデータベースを提供すること。
• 標準データセットのための事前計算された運動ベクトルにより、運動推定に要する時間とリソースを削減すること。
• 動的ポイントクラウドの運動補償符号化技術のベンチマークおよび開発を支援すること。
• 既知のパrameterとブロックサイズを備えた運動ベクトルを提供することで、再現可能な実験を可能にすること。

提案手法

• 運動ベクトルは、ボクセル化されたポイントクラウド上でブロックベースの後向き運動推定手順を用いて計算される。
• 各フレームは、$M \times M \times M$ の非重複立方体ブロックに分割され、$M = 8$ または $M = 16$ である。
• 現在フレームの各ブロックに対して、直前のフレームにおけるブロック位置を中心とする $S \times S \times S$ の探索領域内で探索が実施される。
• 現在のブロックのボクセルと、直前のフレームにおける候補ブロック内の最近傍点との対応関係が確立される。
• 一致するブロックは、組み合わせコスト関数 $\delta = \delta_d + 0.35\delta_c$ に基づいて選択される。ここで $\delta_d$ は平均ユークリッド距離、$\delta_c$ は平均色距離である。
• 結果として得られる運動ベクトルは $ (M_x, M_y, M_z) = (x_{b^*} - x_b, y_{b^*} - y_b, z_{b^*} - z_b) $ として計算され、これは現在のブロックから直前のフレームにおける最良一致ブロックへの変位を表す。

実験結果

リサーチクエスチョン

• RQ1 研究者が計算のオーバーヘッドを低減するために、動的ポイントクラウドにおける運動推定を効率的に事前計算する方法は何か？
• RQ2 幾何学的および色のコスト指標を組み合わせたブロックベースの運動推定は、3次元ポイントクラウドシーケンスでどの程度の性能を示すか？
• RQ3 事前に計算された運動ベクトルは、動的ポイントクラウド圧縮パイプラインの効率をどの程度向上できるか？
• RQ4 異なるブロックサイズ（8×8×8および16×16×16）は、データベースにおける運動ベクトルの正確さとデータ表現にどの程度の影響を与えるか？
• RQ5 多様な動的ポイントクラウドアプリケーションを想定した、集中型3次元運動ベクトルデータベースのスケーラビリティと再利用可能性はいかにか？

主な発見

• データベースは、Andrew、David、Phil、Ricardo、Sarah、Longdress、Loot、Redandblack、Soldierの9つの動的ポイントクラウドシーケンスの全フレームの運動ベクトルを提供する。
• 運動ベクトルは2つのブロックサイズ $M=8$ および $M=16$ に対して計算され、各フレームの運動ベクトルは別々の .mat ファイルに格納されている。
• データベースは深度9および10のシーケンスをカバーしており、フレーム範囲としては、Andrew（1–317）、Longdress（1052–1350）、Soldier（537–835）などがある。
• 各 .mat ファイルには3つの変数が含まれる：`cubeDim`（ブロックサイズ）、`cubeList`（ブロック座標）、および `MVList`（対応する順序での運動ベクトル）。
• データベースは https://queiroz.divp.org/data/motionVectorDatabase.zip にホスティングされており、適切なクレジット表記を伴えば研究用途で自由に利用可能である。
• 運動ベクトルの計算プロセスは計算的に高コストであり、著者らはこのデータベースを再現するには多大な時間とリソースが必要であると強調しており、その公開が正当化される。