[論文レビュー] Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud

Mutian Xu, Junhao Zhang+4 more|arXiv (Cornell University)|Dec 20, 2020

3D Shape Modeling and Analysis参考文献 38被引用数 14

ひとこと要約

本稿では、幾何的周波数特性に基づいて動的に点群を鋭い（輪郭）となだらかな（平坦）変動成分に分離するGeometry-Disentangle Moduleを用いて、3次元点群を幾何的に分離された表現に変換するGDANetを提案する。その後、これらの包括的で補完的な幾何特徴と元の点特徴を、Sharp-Gentle Complementary Attention Moduleで融合することで、従来モデル比84.9%のパラメータ削減で3次元分類およびセグメンテーションで最先端性能を達成した。

ABSTRACT

In 2D image processing, some attempts decompose images into high and low frequency components for describing edge and smooth parts respectively. Similarly, the contour and flat area of 3D objects, such as the boundary and seat area of a chair, describe different but also complementary geometries. However, such investigation is lost in previous deep networks that understand point clouds by directly treating all points or local patches equally. To solve this problem, we propose Geometry-Disentangled Attention Network (GDANet). GDANet introduces Geometry-Disentangle Module to dynamically disentangle point clouds into the contour and flat part of 3D objects, respectively denoted by sharp and gentle variation components. Then GDANet exploits Sharp-Gentle Complementary Attention Module that regards the features from sharp and gentle variation components as two holistic representations, and pays different attentions to them while fusing them respectively with original point cloud features. In this way, our method captures and refines the holistic and complementary 3D geometric semantics from two distinct disentangled components to supplement the local information. Extensive experiments on 3D object classification and segmentation benchmarks demonstrate that GDANet achieves the state-of-the-arts with fewer parameters. Code is released on https://github.com/mutianxu/GDANet.

研究の動機と目的

• 既存の深層ネットワークがすべての点や局所的パッチを同等に扱うという制限に対処し、3次元オブジェクトにおける輪郭と平坦面の補完的幾何的役割を無視していること。
• 3次元点群を明確な幾何的成分（鋭い＝輪郭、なだらか＝平坦領域）に分離することで、冗長性を低減し、意味的表現を強化すること。
• これらの分離された成分から補完的な幾何的意味を捉え、融合するメカニズムを開発し、局所的およびグローバルな特徴学習を向上させること。
• モデルの複雑さを低減し、ノイズ、回転、点密度の変動に対して強靭性を高めつつ、最先端の性能を達成すること。

提案手法

• 幾何的周波数特性に基づいて点群を鋭い変動成分となだらかな変動成分に動的に分解するため、グラフ信号処理を用いたGeometry-Disentangle Module (GDM) を導入する。
• 複数レベルのセマンティック特徴から計算される動的隣接行列を用いて、輪郭領域と平坦領域の文脈に配慮した分離を実現する。
• 元の点特徴と分離された成分からの特徴の間で注意重みを計算するSharp-Gentle Complementary Attention Module (SGCAM) を採用し、選択的で効果的な特徴融合を可能にする。
• Furthest Point Selection (FPS) とランダムサンプリング戦略を用いて、分離された成分の代表点を選択し、ノイズおよび密度変動に対して強い耐性を発揮する。
• トレーニング中に分離モジュールと注意モジュールを同時に最適化することで、異なるセマンティックレベルにおける幾何的構造を適応的に学習する。
• 従来のKNNベースの局所的集約を、包括的で成分に配慮した特徴融合に置き換え、局所的近傍情報にグローバルな幾何的文脈を補完する。

実験結果

リサーチクエスチョン

• RQ1 3次元点群を鋭い（輪郭）となだらかな（平坦）変動成分に動的に分離することで、幾何的表現学習が向上するか？
• RQ2 補完的注意機構を用いてこれらの分離された成分からの特徴を融合することで、標準的な局所的集約と比較して3次元点群理解がどの程度向上するか？
• RQ3 従来モデルと比較して、本手法は点密度の変動、回転、ノイズに対してどの程度の耐性を示すか？
• RQ4 事前計算された隣接行列が不要な状態で、幾何的表現を分離可能か？また、動的学習が性能向上に寄与するか？
• RQ5 精度と効率のバランスを考慮した場合、分離された成分にどの程度の点数を選択するのが最適か？

主な発見

• GDANetはModelNet40分類で93.8%の精度を達成し、KPConvと比較して84.9%もパラメータを削減した最先端手法を上回った。
• 回転拡張（s/s）設定において、2番目に優れた手法と比較して精度低下を2.7%低減させ、優れた回転耐性を示した。
• ノイズのあるScanObjectNNベンチマークでは、OBJ_ONLYからOBJ_BGへの精度低下が最小であり、ノイズ耐性を確認した。
• GDMにおける動的隣接行列計算は、事前計算されたバージョンと比較して0.8%の精度向上をもたらし、エンドツーエンド最適化の利点を示した。
• GDMで入力点群の25%（1024点中256点）を選択すると最良の性能が得られ、情報量と冗長性の最適なトレードオフを示した。
• 本手法は全点密度レベルで一貫した性能を維持し、サンプリング変動に対しても強い耐性を示した。