[論文レビュー] ProxyFormer: Proxy Alignment Assisted Point Cloud Completion with Missing Part Sensitive Transformer

Shanshan Li, Pan Gao+2 more|arXiv (Cornell University)|Feb 28, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

ProxyFormer は、欠損幾何の再構成を向上させるために、プロキシベースの特徴および位置符号化と、欠損部の感度を持つトランスフォーマーを用いた新しい点群補完手法を提案する。元の不完全な入力を保持し、真の欠損部とプロキシの整合性をとることで予測を精緻化することで、従来手法よりも高速な推論と少ないパラメータで最先端の性能を達成する。

ABSTRACT

Problems such as equipment defects or limited viewpoints will lead the captured point clouds to be incomplete. Therefore, recovering the complete point clouds from the partial ones plays an vital role in many practical tasks, and one of the keys lies in the prediction of the missing part. In this paper, we propose a novel point cloud completion approach namely ProxyFormer that divides point clouds into existing (input) and missing (to be predicted) parts and each part communicates information through its proxies. Specifically, we fuse information into point proxy via feature and position extractor, and generate features for missing point proxies from the features of existing point proxies. Then, in order to better perceive the position of missing points, we design a missing part sensitive transformer, which converts random normal distribution into reasonable position information, and uses proxy alignment to refine the missing proxies. It makes the predicted point proxies more sensitive to the features and positions of the missing part, and thus make these proxies more suitable for subsequent coarse-to-fine processes. Experimental results show that our method outperforms state-of-the-art completion networks on several benchmark datasets and has the fastest inference speed. Code is available at https://github.com/I2-Multimedia-Lab/ProxyFormer.

研究の動機と目的

• 既存の点群補完手法が再構成中に細粒度の詳細を失う、または元の幾何を歪めるという限界を是正すること。
• 特に複雑な領域や遮蔽領域において、欠損部の特徴表現と位置符号化を向上させること。
• トレーニング中に真の欠損部をプロキシとして用いることで、事前知識としての役割を果たすプロキシ統合を活用し、モデルの汎化性能を向上させること。
• トランスフォーマーに基づくベースラインと比較して、パラメータ数と推論コストを削減しながら性能を維持または向上させること。
• プロキシ相互作用を明示的にモデル化することで、存在する部分と欠損部分の関係を捉え、より正確で詳細な補完を実現すること。

提案手法

• 各点が局所的な幾何と特徴情報を集約する特徴および位置抽出器を用いて、プロキシに符号化されるプロキシベースの表現を導入する。
• 欠損部感度トランスフォーマーは、既存のプロキシ特徴をガイドとして、ランダムノイズを構造的な空間配置に変換することで、欠損プロキシの位置に依存する特徴を生成する。
• トレーニング中にプロキシ統合を用いる：真の欠損部がプロキシに変換され、予測された欠損プロキシを精緻化するために使用され、特徴の一貫性と再構成精度が向上する。
• デコーダヘッドを排除することで、プロキシを直接点空間にマッピングし、エンドツーエンドのトレーニングを可能にするとともに、元の入力点を100%保持する。
• 位置符号化は3次元座標と隣接特徴情報の両方を組み合わせ、固定位置符号化に依存せずに空間認識を向上させる。
• フレームワークは再構成損失とプロキシ統合損失の両方を用いてトレーニングされ、汎化性能と詳細回復が向上する。

実験結果

リサーチクエスチョン

• RQ1 プロキシベースの表現は、点群補完における欠損部の特徴および位置符号化を改善できるか？
• RQ2 欠損部感度トランスフォーマーは、不完全領域における幾何的詳細のモデリングをどのように向上させるか？
• RQ3 真の欠損部とプロキシの統合により、トレーニング中の事前知識と予測精度が向上するか？
• RQ4 トランスフォーマーに基づくモデルでデコーダヘッドを排除することで、パラメータ数と推論時間を削減し、性能を維持または向上させられるか？
• RQ5 多様な3次元形状において、本手法は最先端手法と比較して再構成精度と効率性の面で優れているか？

主な発見

• ProxyFormer は ShapeNet-34 および ShapeNet-13 ベンチマークで最先端の性能を達成し、DCD およびチェンバーディスタンス指標において GRNet、PoinTr、SeedFormer を上回った。
• ShapeNet-34 データセットでは、ProxyFormer の平均 DCD は 0.538 であり、GRNet（0.583）、PoinTr（0.558）、SeedFormer（0.541）を顕著に下回った。
• SOTA手法の中で最も高速な推論速度を達成し、GFLOPs が最も低く、高い効率性を示した。
• ShapeNet-13 データセットでは、ProxyFormer が平均チェンバーディスタンスを 2.54 にまで低減し、GRNet（4.95）、PoinTr（3.45）、SeedFormer（3.45）を上回った。
• 視覚的結果では、曲がったエッジや細かな構造（例：ランプシェードの縁）を正しく再構成し、PoinTr や GRNet で見られる歪みを回避する優れた詳細回復が確認された。
• アブレーションスタディにより、プロキシ統合と欠損部感度トランスフォーマーが、特に困難および中程度のカテゴリで性能向上に顕著な寄与をしていることが確認された。