[論文レビュー] FPConv: Learning Local Flattening for Point Convolution

Yiqun Lin, Zizheng Yan+5 more|arXiv (Cornell University)|Feb 25, 2020

3D Shape Modeling and Analysis参考文献 52被引用数 16

ひとこと要約

FPConvは、周囲の点を2次元グリッドに投影するための微分可能重みマップを学習することで、局所的な平坦化を実現する、3次元ポイントクラウド解析のための新しいサーフェススタイル畳み込みを導入する。これにより、局所的な幾何構造に対して効率的な2次元畳み込みが可能になる。ボリュメトリック畳み込みと同時に訓練された場合、最先端の性能を達成し、サーフェススタイルとボリュメトリックスタイルのアプローチの強力な補完性を示している。

ABSTRACT

We introduce FPConv, a novel surface-style convolution operator designed for 3D point cloud analysis. Unlike previous methods, FPConv doesn't require transforming to intermediate representation like 3D grid or graph and directly works on surface geometry of point cloud. To be more specific, for each point, FPConv performs a local flattening by automatically learning a weight map to softly project surrounding points onto a 2D grid. Regular 2D convolution can thus be applied for efficient feature learning. FPConv can be easily integrated into various network architectures for tasks like 3D object classification and 3D scene segmentation, and achieve comparable performance with existing volumetric-type convolutions. More importantly, our experiments also show that FPConv can be a complementary of volumetric convolutions and jointly training them can further boost overall performance into state-of-the-art results.

研究の動機と目的

• ポイントクラウドのスパarsityおよび順序なし性を考慮した、効率的かつロバストな3次元ポイントクラウド解析の課題に対処すること。
• メモリ消費量と計算負荷の高さといったボリュメトリック畳み込みの限界を克服すること。
• グリッドやグラフといった中間表現に依存しないことで、サーフェススタイル畳み込みの性能を向上させること。
• サーフェススタイルとボリュメトリックスタイル畳み込みの相乗効果を探索し、性能を向上させること。
• 明示的な投影手法よりも一般化性の高い、学習可能な暗黙の平坦化機構の開発すること。

提案手法

• FPConvは、周囲の点を2次元グリッドに柔ららかに投影するための微分可能重みマップを学習することで、局所的平坦化を実現し、明示的な幾何的投影を回避する。
• 重みマップはエンドツーエンドで学習され、ネットワークが局所的サーフェスに沿って畳み込み重みをどのように拡散させるかを適応的に決定できる。
• 平坦化後、標準的な2次元畳み込みを投影グリッドに適用して、効率的な局所的特徴抽出を実現する。
• 中間の3次元グリッドやグラフ構造を必要とせず、ポイントクラウド幾何構造そのものに直接処理を実行する。
• 分類およびセグメンテーションタスクに適したさまざまなネットワークアーキテクチャへの統合をサポートする。
• 性能を向上させるために、スパース正規化（sparse-norm）という2段階の正規化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な暗黙の平坦化機構は、明示的な幾何的投影よりも、サーフェススタイルポイントクラウド畳み込みで優れた性能を発揮できるか？
• RQ2 3次元ポイントクラウドタスクにおいて、FPConvは既存のサーフェススタイルおよびボリュメトリックスタイル畳み込み手法と比較して、どの程度の性能を示すか？
• RQ3 特に表面の曲率に関して、FPConvはボリュメトリック畳み込みと比較して、どのような状況で優れた性能を発揮するか？
• RQ4 サーフェススタイルとボリュメトリックスタイル畳み込みを効果的に統合することで、優れた性能を達成できるか？
• RQ5 グリッド解像度や正規化手法といったアーキテクチャ的選択が、FPConvの性能にどのように影響を与えるか？

主な発見

• FPConvは、3次元オブジェクト分類およびシーンセグメンテーションにおいて、最先端のボリュメトリックスタイル手法と同等の性能を達成する。
• FPConvは、特に平坦で低曲率領域において、従来のサーフェススタイル手法（PointConv や KPConv）を顕著に上回る。
• S3DIS エリア5では、スパース正規化と6×6グリッドを用いたFPConvが、62.8 mIoU、69.0 mAcc、88.3 oAccを達成し、密正規化や小規模グリッドを上回った。
• 平坦な表面に対して優れた一般化性能を示すが、高曲率領域では性能が低下する傾向にあり、幾何的感度が確認された。
• FPConvとボリュメトリック畳み込み（例：KPConv）を共同で訓練することで、最先端の結果が得られ、両者の補完的性質が裏付けられた。
• 可視化により、FPConvは柱のような平坦構造をKPConvよりもよく捉えている一方で、ドアのような複雑な形状ではKPConvが優れていることが確認され、両者の統合が優れた結果をもたらした。