[論文レビュー] PointGrow: Autoregressively Learned Point Cloud Generation with Self-Attention

Yongbin Sun, Yue Wang+3 more|arXiv (Cornell University)|Oct 12, 2018

3D Shape Modeling and Analysis参考文献 67被引用数 21

ひとこと要約

PointGrow は、自己注意機構を活用して長距離依存関係を捉え、点同士の相関関係をモデル化する自己回帰的生成モデルであり、3次元点群の逐次的サンプリングを条件付き確率分布に基づいて行う。無条件および条件付き生成の両方で最先端の性能を達成し、解釈可能で多様かつ現実的な3次元形状生成を可能にし、形状補完や算術操作への応用が可能である。

ABSTRACT

Generating 3D point clouds is challenging yet highly desired. This work presents a novel autoregressive model, PointGrow, which can generate diverse and realistic point cloud samples from scratch or conditioned on semantic contexts. This model operates recurrently, with each point sampled according to a conditional distribution given its previously-generated points, allowing inter-point correlations to be well-exploited and 3D shape generative processes to be better interpreted. Since point cloud object shapes are typically encoded by long-range dependencies, we augment our model with dedicated self-attention modules to capture such relations. Extensive evaluations show that PointGrow achieves satisfying performance on both unconditional and conditional point cloud generation tasks, with respect to realism and diversity. Several important applications, such as unsupervised feature learning and shape arithmetic operations, are also demonstrated.

研究の動機と目的

• 生成過程における点同士の相関関係を明示的にモデル化する3次元点群の生成モデルを開発すること。
• 点群データの不規則性と長距離依存関係の課題に対処するため、自己注意機構を自己回帰フレームワークに統合すること。
• 2次元画像などの意味的入力に基づいて、スクラッチから多様で現実的な3次元形状を生成できること。
• 教師なし特徴学習、形状補完、形状算術操作などの下流タスクを支援すること。
• 生成プロセスを曇らせる既存の集合ベースの損失関数（例：Chamfer距離）の代替として、より解釈可能な選択肢を提供すること。

提案手法

• PointGrow は、各点を以前に生成された点に基づいて逐次的に生成する自己回帰的手法を採用し、条件付き確率の連鎖則を用いて点群の結合分布をモデル化する。
• 各点 z_i を、以前に生成された点の集合 s_{≤i−1} を条件として、確率分布 p(z_i | s_{≤i−1}) に基づいてサンプリングする。
• 不規則な点群セット上で動作する2つの新規な点群ベースの自己注意モジュールを導入し、点群内の遠く離れた点間の意味的相関関係を動的に集約して捉える。
• 空間的および特徴ベースの類似度に基づいて注意スコアを計算することで、非局所的な点間でも効果的な情報伝達を実現する。
• 全点群シーケンスの対数尤度を最適化する尤度ベースの目的関数を用いて、エンドツーエンドで学習する。
• 条件付き生成のため、学習済みの画像エンコーダーを用いて画像条件付き埋め込みを取得し、それを自己回帰的デコーダーと融合して3次元形状生成をガイドする。

実験結果

リサーチクエスチョン

• RQ1 点同士の相関関係を明示的にモデル化する自己回帰フレームワークは、集合ベースの損失関数よりも、より解釈可能で現実的な3次元点群を生成できるか？
• RQ2 自己注意機構は、不規則な点群データにおける長距離依存関係をどれほど効果的に捉えることができるか？
• RQ3 2次元画像入力に基づいて、実世界のシナリオでも多様で妥当な3次元形状を生成できるか？
• RQ4 学習された潜在空間は、形状算術や教師なし特徴学習などの下流タスクをどの程度サポートできるか？
• RQ5 自己回帰的生成プロセスは、意味のある中間形状の補間や構成的形状生成を可能にするか？

主な発見

• PointGrow は、ShapeNetベンチマークにおいて、無条件および条件付きの両方の3次元点群生成タスクで最先端の性能を達成し、先行手法よりも低いChamfer距離（CD）とEarth Mover’s Distance（EMD）スコアを実現した。
• ShapeNet-1000 データセットにおいて、1ビュー設定では CD が 0.615、EMD が 1.401 を達成し、3D-R2N2 や MRTNet などのモデルを上回った。
• 5ビュー設定では、CD が 0.914、EMD が 1.413 を達成し、複数の画像ビュー下でも優れた一般化性能を示した。
• 画像条件付き潜在ベクトルの線形補間により、意味のある形状算術操作を実現し、妥当な中間形状を生成できた。
• 画像埋め込みの補間を通じて中間3次元形状が成功裏に生成され、モデルが離散的で連続的な形状表現を学習できることを示した。
• 教師なし特徴学習においても優れた性能を示し、分類やリtrievalなどの下流タスクに一般化可能な特徴を生成した。