[論文レビュー] Point2Sequence: Learning the Shape Representation of 3D Point Clouds with an Attention-based Sequence to Sequence Network

Xinhai Liu, Zhizhong Han+2 more|arXiv (Cornell University)|Nov 6, 2018

3D Shape Modeling and Analysis参考文献 24被引用数 37

ひとこと要約

Point2Sequenceは、点群内のマルチスケール局所領域同士の細分化された相関関係をモデル化することで、3次元形状表現を学習するアテンションベースのシーケンス・ツー・シーケンスネットワークを提案する。RNNベースのエンコーダ・デコーダとアテンション機構を用いてスケール間の特徴を統合することで、形状分類（ModelNet40で92.6％の正確度）および部品セグメンテーション（ShapeNet Partで85.2％のmIoU）において最先端の性能を達成した。

ABSTRACT

Exploring contextual information in the local region is important for shape understanding and analysis. Existing studies often employ hand-crafted or explicit ways to encode contextual information of local regions. However, it is hard to capture fine-grained contextual information in hand-crafted or explicit manners, such as the correlation between different areas in a local region, which limits the discriminative ability of learned features. To resolve this issue, we propose a novel deep learning model for 3D point clouds, named Point2Sequence, to learn 3D shape features by capturing fine-grained contextual information in a novel implicit way. Point2Sequence employs a novel sequence learning model for point clouds to capture the correlations by aggregating multi-scale areas of each local region with attention. Specifically, Point2Sequence first learns the feature of each area scale in a local region. Then, it captures the correlation between area scales in the process of aggregating all area scales using a recurrent neural network (RNN) based encoder-decoder structure, where an attention mechanism is proposed to highlight the importance of different area scales. Experimental results show that Point2Sequence achieves state-of-the-art performance in shape classification and segmentation tasks.

研究の動機と目的

• 3次元点群の局所領域における細分化された文脈的情報を捉えることに、従来手法の限界を是正すること。
• 異なる領域スケール間の相関関係を暗黙的に符号化する深層学習モデルの開発。
• 特徴統合の過程で重要なスケール領域を強調するためにアテンション機構を活用することで、形状表現学習を向上させること。
• RNNベースのシーケンスモデリングが3次元点群理解に有効に適用可能であることを実証すること。

提案手法

• 各局所領域を階層的な空間構造を捉えるために複数のマルチスケール領域に分解する。
• 共有されたマルチレイヤーパーセプトロン（MLP）が、各スケール領域ごとに独立して特徴を抽出する。
• RNNベースのエンコーダ・デコーダアーキテクチャが、すべてのスケール領域間の特徴を統合し、順序依存性をモデル化する。
• アテンション機構が、統合の過程で異なるスケール領域の重要度を動的に重みづけする。
• 局所領域をシーケンスとして処理することで、スケール間の相関関係を暗黙的にモデル化する。
• 分類およびセグメンテーションタスクのエンドツーエンド学習に交差エントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのシーケンス・ツー・シーケンスモデルは、3次元点群のマルチスケール局所領域間の文脈的相関を効果的に学習できるか？
• RQ2 スケール間の相関関係をモデル化することで、点群表現学習における特徴の識別性がどのように向上するか？
• RQ3 RNNベースのアーキテクチャは、局所領域における長距離依存性を捉えるために3次元点群処理に有効に適用可能か？
• RQ4 提案手法のアテンション機構は、特徴統合において明示的な連結やプーリング戦略と比較して優れているか？
• RQ5 性能と計算コストのバランスを考慮した場合、最適なマルチスケール領域数（T）は何か？

主な発見

• Point2SequenceはModelNet40で92.6％のインスタンス平均正確度を達成し、PointNet++およびDGCNNをそれぞれ1.9％および0.2％上回った。
• ShapeNet Partデータセットでは、85.2％の平均交差率（mIoU）を達成し、最先端の手法を上回った。
• アブレーションスタディの結果、T=2のマルチスケール領域がT=1よりも優れた性能を示し、マルチスケール統合の有効性が裏付けられた。
• Point2Sequenceの最適な学習率は0.001であり、ModelNet40での正確度が最も高くなった。
• アテンション機構により、統合の過程で最も関連性の高いスケール領域が強調され、特徴学習が顕著に向上した。
• 形状分類および部品セグメンテーションの両タスクにおいて、優れた汎化能力と識別能力を示した。