[論文レビュー] SeqXY2SeqZ: Structure Learning for 3D Shapes by Sequentially Predicting 1D Occupancy Segments From 2D Coordinates

Zhizhong Han, Guanhui Qiao+2 more|arXiv (Cornell University)|Mar 12, 2020

3D Shape Modeling and Analysis参考文献 61被引用数 4

ひとこと要約

本論文は、3次元座標を3次元の密度サンプリングを避けるために2次元座標から3次元目の軸に沿った1次元占有セグメントの系列にマッピングする2次元関数として形状を表現する、新しい3次元形状構造学習手法SeqXY2SeqZを提案する。RNNベースのSeq2Seqモデルにアテンションを組み合わせることで、O(R²)の複雑さを実現し、3次元暗黙関数手法と比較してメモリ使用量と推論時間を大幅に削減した。その結果、最先端の再構成性能を達成した。

ABSTRACT

Structure learning for 3D shapes is vital for 3D computer vision. State-of-the-art methods show promising results by representing shapes using implicit functions in 3D that are learned using discriminative neural networks. However, learning implicit functions requires dense and irregular sampling in 3D space, which also makes the sampling methods affect the accuracy of shape reconstruction during test. To avoid dense and irregular sampling in 3D, we propose to represent shapes using 2D functions, where the output of the function at each 2D location is a sequence of line segments inside the shape. Our approach leverages the power of functional representations, but without the disadvantage of 3D sampling. Specifically, we use a voxel tubelization to represent a voxel grid as a set of tubes along any one of the X, Y, or Z axes. Each tube can be indexed by its 2D coordinates on the plane spanned by the other two axes. We further simplify each tube into a sequence of occupancy segments. Each occupancy segment consists of successive voxels occupied by the shape, which leads to a simple representation of its 1D start and end location. Given the 2D coordinates of the tube and a shape feature as condition, this representation enables us to learn 3D shape structures by sequentially predicting the start and end locations of each occupancy segment in the tube. We implement this approach using a Seq2Seq model with attention, called SeqXY2SeqZ, which learns the mapping from a sequence of 2D coordinates along two arbitrary axes to a sequence of 1D locations along the third axis. SeqXY2SeqZ not only benefits from the regularity of voxel grids in training and testing, but also achieves high memory efficiency. Our experiments show that SeqXY2SeqZ outperforms the state-ofthe-art methods under widely used benchmarks.

研究の動機と目的

• 3次元形状再構成における暗黙関数ベースの手法で生じる高コストな密度サンプリングの計算およびメモリコストを軽減すること。
• 訓練および推論時に不規則な3次元サンプリングを回避するため、構造的な2次元関数表現を活用すること。
• メモリ効率が良く、系列ベースの深層学習モデルを用いて、効率的かつ高解像度の3次元形状再構成を可能にすること。
• 推論速度を向上させ、メモリ使用量を低減した上で、3次元形状再構成ベンチマークで最先端の性能を達成すること。

提案手法

• 3次元ボクセルグリッドを、X、Y、Z軸のいずれかに沿った1次元チューブの集合として表現し、直交する平面の2次元座標でインデックス化する。
• 各チューブを、開始位置および終了位置の1次元ボクセル位置で定義される占有セグメントの系列に簡略化する。
• 双方向RNNエンコーダと自己回帰的デコーダを備えたSeq2Seqモデルを用い、2次元座標と形状条件から1次元占有セグメント系列を予測する。
• アテンション機構を採用することで、デコーダが系列的予測中に関連する2次元座標に注目できるようにする。
• ボクセルチューブ化を活用し、立方体の3次元の複雑さを2次元の複雑さに変換することで、効率的な学習と推論を可能にする。
• 形状特徴をチューブ予測のコンテキストとして用い、3次元ボクセルグリッド上で自己符号化損失を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 密度サンプリングを避けるために、2次元座標から1次元占有セグメントを予測することで、3次元形状構造を効果的に学習できるか？
• RQ2 ボクセルグリッドを1次元セグメント系列へのマッピングを提供する2次元関数として表現することで、メモリ効率と推論速度が向上するか？
• RQ3 アテンションを備えたSeq2Seqモデルは、2次元座標入力から複雑な3次元形状を効果的に学習および再構成できるか？
• RQ4 本手法は、3次元暗黙関数ベースのモデルと比較して、再構成品質、メモリ使用量、推論時間の面で優れているか？

主な発見

• SeqXY2SeqZは、広く用いられるベンチマークで最先端の3次元形状再構成性能を達成し、既存手法を上回った。
• グリッド解像度R³に対して、モデルはO(R²)のRNN推論ステップで十分であり、3次元暗黙関数のO(R³)サンプリングと比較して、計算複雑度が顕著に低減された。
• R=64で再構成に必要なRAMは286 MBにとどまり、DISN（>11 GB）やOccNet（1175 MB）と比較して顕著な改善を示した。
• CPU上での推論時間は8.79秒にまで短縮され、同解像度でOccNet（55.80秒）とDISN（14.68秒）を上回った。
• 本手法は、チェア や テーブル といった複雑な形状を再構成する際、2次元座標1つあたり1〜3つの占有セグメントで十分であることが示された。
• アテンション可視化により、モデルが意味的な空間的依存関係を学習していることが確認され、車のような単純な形状ではより単純なアテンションパターンを示した。