[論文レビュー] Dynamic Polygon Clouds: Representation and Compression for VR/AR

Philip A. Chou, Eduardo Pavéz+2 more|arXiv (Cornell University)|Oct 3, 2016

Computer Graphics and Visualization Techniques参考文献 37被引用数 3

ひとこと要約

本稿では、VR/AR用途を想定し、点群の頑健性とメッシュの圧縮効率を融合したハイブリッド3D表現として、動的トライアングルクラウドを提案する。空間直交変換、運動補償、エントロピー符号化を活用することで、最先端の動的点群コーデックと比較して33%優れた圧縮性能を達成し、オクツリーに基づく手法と比較して、幾何データのビットレートを最大45倍まで低減した。

ABSTRACT

We introduce the {\em polygon cloud}, also known as a polygon set or {\em soup}, as a compressible representation of 3D geometry (including its attributes, such as color texture) intermediate between polygonal meshes and point clouds. Dynamic or time-varying polygon clouds, like dynamic polygonal meshes and dynamic point clouds, can take advantage of temporal redundancy for compression, if certain challenges are addressed. In this paper, we propose methods for compressing both static and dynamic polygon clouds, specifically triangle clouds. We compare triangle clouds to both triangle meshes and point clouds in terms of compression, for live captured dynamic colored geometry. We find that triangle clouds can be compressed nearly as well as triangle meshes, while being far more robust to noise and other structures typically found in live captures, which violate the assumption of a smooth surface manifold, such as lines, points, and ragged boundaries. We also find that triangle clouds can be used to compress point clouds with significantly better performance than previously demonstrated point cloud compression methods. In particular, for intra-frame coding of geometry, our method improves upon octree-based intra-frame coding by a factor of 5-10 in bit rate. Inter-frame coding improves this by another factor of 2-5. Overall, our dynamic triangle cloud compression improves over the previous state-of-the-art in dynamic point cloud compression by 33\% or more.

研究の動機と目的

• VR/AR用途における生のライブキャプチャ3Dジオメトリ（ノイズ多、非多様体）を表現する伝統的なポリゴンメッシュおよび点群の限界を解消すること。
• 現実世界の欠陥（線分、点、ざらついた境界など）を扱える、頑健な損失あり圧縮フレームワークを構築すること。
• 空間的および時間的冗長性を活用することで、動的3Dシーンにおける幾何およびカラーの両方の圧縮効率を向上させること。
• ライブキャプチャされた動的カラー幾何を圧縮する際、ポリゴンクラウドがメッシュおよび点群を上回る圧縮性能を示すことを実証すること。
• 高度な変換および予測技術を用いて、ビットレートを顕著に低減することで、動的点群圧縮の新たな基準を確立すること。

提案手法

• メッシュの多様体制約を課さない、非構造的な三角形の集合（トライアングルクラウド）として3Dジオメトリを表現することで、ノイズおよび非表面的特徴に対して頑健な表現を実現する。
• 参照フレーム（Iフレーム）において、頂点位置およびカラー配列に空間直交変換を適用し、圧縮前に空間的相関を低減する。
• Pフレームでは運動補償予測を用いる：時間的に三角形頂点を追跡し、運動残差を符号化することで時間的冗長性を活用する。
• 参照フレームにおける三角形をボクセル化することで、カラーテクスチャの均一なサンプリングを保証し、フレーム間で一貫したベクトル空間表現を可能にする。
• 変換および予測処理後に、幾何およびカラー両データに均一なスカラー量子化およびエントロピー符号化を適用する。
• Iフレームおよび予測フレーム（Pフレーム）を含むフレーム群（GOF）モデルを用い、最適なビットレート削減を実現するハイブリッド内符号化/相互符号化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生のライブキャプチャで得られるノイズや非多様体的欠陥を有する動的3Dジオメトリを圧縮する際、ポリゴンクラウド表現は従来のメッシュおよび点群を上回る性能を示せるか？
• RQ2 動的トライアングルクラウドにおける空間的および時間的冗長性は、どの程度効率的な圧縮に活用可能か？
• RQ3 本手法の圧縮性能は、動的点群およびメッシュ圧縮分野における最先端手法と比較して、ビットレートおよび品質の観点でどの程度優れているか？
• RQ4 コーデックパイプライン内での幾何データ符号化の正確性が、カラー歪み評価指標に与える影響は何か？
• RQ5 本手法は、損失なしボクセル化幾何符号化の2.5 bpvルール of thumb を破ることができるか？

主な発見

• 本手法は、ボクセル化点群の従来のオクツリー基盤内符号化と比較して、フレーム内幾何データのビットレートを5–10倍まで低減し、2.5 bpvルール of thumb を破った。
• フレーム間幾何符号化により、フレーム内符号化と比較してビットレートが2–5倍まで低減され、基準となるオクツリー手法と比較して最大45倍の低減を達成した。
• カラー符号化においては、3つのテストシーケンスのうち1つでビットレートを約30%改善、またはPSNRを約2 dB向上させた。その向上幅は運動推定の精度に依存した。
• 全体として、動的トライアングルクラウド圧縮は、従来の最先端の動的点群圧縮手法と比較して、33%以上のビットレート削減を達成した。
• トライアングルクラウドは、メッシュと同等の効率で動的カラー幾何を圧縮可能であり、ノイズおよび非多様体的構造に対してははるかに頑健である。
• 本手法は、ポリゴンクラウドがメッシュおよび点群を一般化できることを示し、現実世界のキャプチャアーチファクトに強く、高効率な圧縮を実現可能であることを実証した。