[論文レビュー] Detail Preserved Point Cloud Completion via Separated Feature Aggregation

Wenxiao Zhang, Qingan Yan+1 more|arXiv (Cornell University)|Jul 5, 2020

3D Shape Modeling and Analysis参考文献 1被引用数 8

ひとこと要約

本稿では、既知の部分と欠損部分のための多層特徴を別々に集約する2つの戦略、グローバルおよびローカル特徴集約（GLFA）とリプルス特徴集約（RFA）を用いて、細かな幾何的詳細を保持する新しいポイントクラウド補完フレームワークを提案する。この手法は、形状再構築および細部の保持において最先端の手法を上回り、特に新しいカテゴリにおいて顕著な性能向上を示す。また、専用のリファインメントモジュールにより外れ値が低減され、一様性が向上する。

ABSTRACT

Point cloud shape completion is a challenging problem in 3D vision and robotics. Existing learning-based frameworks leverage encoder-decoder architectures to recover the complete shape from a highly encoded global feature vector. Though the global feature can approximately represent the overall shape of 3D objects, it would lead to the loss of shape details during the completion process. In this work, instead of using a global feature to recover the whole complete surface, we explore the functionality of multi-level features and aggregate different features to represent the known part and the missing part separately. We propose two different feature aggregation strategies, named global \& local feature aggregation(GLFA) and residual feature aggregation(RFA), to express the two kinds of features and reconstruct coordinates from their combination. In addition, we also design a refinement component to prevent the generated point cloud from non-uniform distribution and outliers. Extensive experiments have been conducted on the ShapeNet dataset. Qualitative and quantitative evaluations demonstrate that our proposed network outperforms current state-of-the art methods especially on detail preservation.

研究の動機と目的

• 既存の学習ベースのポイントクラウド補完手法が、単一のグローバル特徴ベクトルに依存することで幾何的詳細を失うという制限を解消すること。
• 多層特徴を用いて既知部分と欠損部分を別々にモデル化することで、形状補完を改善すること。
• 特に未学習のオブジェクトカテゴリに対して、細部の保持と形状予測の正確性を向上させること。
• リファインメント部を導入することで、生成されたポイントクラウドのノイズと非一様性を低減すること。

提案手法

• ネットワークは階層的特徴学習アーキテクチャを用いて、入力の部分点群から多層特徴を抽出する。
• 2つの特徴集約戦略を提案する：GLFAは、既知部分のためのローカル特徴と、欠損部分のためのグローバル特徴を統合する。RFAは、欠損部分を完全形状からのリプルス差分としてモデル化する。
• 既知部分と欠損部分の特徴を、学習可能な組み合わせ比を用いて融合し、完全な3次元形状を再構築する。
• リファインメント部を導入し、均一なサンプリングのためのFPS、無効な点を抑制するためのアテンションモジュール、高解像度で滑らかな表面を生成するためのローカルフォールディングユニットを含む。
• ネットワークは、Chamfer DistanceとF-Scoreを最適化指標として用い、ShapeNetデータセット上でエンドツーエンドに訓練される。
• 本手法は、既知のカテゴリと新しいカテゴリの両方で評価され、特徴レベル数と組み合わせ比に関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 既知部分と欠損部分のための特徴表現を分離することで、ポイントクラウド補完における細部の保持が向上するか？
• RQ2 GLFAとRFAという異なる特徴集約戦略は、既知カテゴリと新しいカテゴリの両方で性能にどのように影響を与えるか？
• RQ3 専用のリファインメント部は、生成されたポイントクラウドにおける非一様性と外れ値をどの程度低減するか？
• RQ4 本手法は、特徴レベル数や既知部分特徴と欠損部分特徴の比率に対してどれほど感度を示すか？

主な発見

• 提案されたNSFA-RFA戦略は、全体として最高の性能を達成し、既知カテゴリではChamfer Distanceが8.06、新しいカテゴリでは10.08を記録した。
• NSFA-GLFAは新しいカテゴリで優れた性能を示し、既知カテゴリではChamfer Distanceが8.14、新しいカテゴリでは9.98を達成した。
• リファインメント部を適用することで、リファインメントなしの結果と比較して、既知カテゴリではChamfer Distanceが0.59低下し、新しいカテゴリでは0.11低下した。
• 既知部分と欠損部分特徴の最適な組み合わせ比は1:1に近く、1:3や0:4といった比率では性能が著しく低下した。
• 特徴レベル数を増やすことで性能はレベル5〜6まで向上したが、さらに増加（例：レベル6）すると、GLFAの性能が低下し、特徴境界がぼやける原因となった。
• ネットワークは物体の対称的特性を学習できており、その結果、対称的な欠損部分の正確な補完が可能であることが、定性的な結果から示された。