[論文レビュー] L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention

Xinhai Liu, Zhizhong Han+3 more|arXiv (Cornell University)|Aug 2, 2019

3D Shape Modeling and Analysis参考文献 48被引用数 8

ひとこと要約

L2Gオートエンコーダは、エンコーダーで階層的自己注意機構を用い、RNNベースのデコーダーで段階的なグローバル再構成を行うことで、局所構造とグローバル構造を同時に学習する、ポイントクラウド理解のための新しいローカルからグローバルへの再構成フレームワークを導入する。マルチスケールの局所特徴と注意駆動型特徴抽象化を活用することで、形状分類、リtrieval、非教師ありポイントクラウドアップサンプリングの分野で最先端の性能を達成する。

ABSTRACT

Auto-encoder is an important architecture to understand point clouds in an encoding and decoding procedure of self reconstruction. Current auto-encoder mainly focuses on the learning of global structure by global shape reconstruction, while ignoring the learning of local structures. To resolve this issue, we propose Local-to-Global auto-encoder (L2G-AE) to simultaneously learn the local and global structure of point clouds by local to global reconstruction. Specifically, L2G-AE employs an encoder to encode the geometry information of multiple scales in a local region at the same time. In addition, we introduce a novel hierarchical self-attention mechanism to highlight the important points, scales and regions at different levels in the information aggregation of the encoder. Simultaneously, L2G-AE employs a recurrent neural network (RNN) as decoder to reconstruct a sequence of scales in a local region, based on which the global point cloud is incrementally reconstructed. Our outperforming results in shape classification, retrieval and upsampling show that L2G-AE can understand point clouds better than state-of-the-art methods.

研究の動機と目的

• ポイントクラウドの局所構造を学習する点で、従来のオートエンコーダーに見られる限界を是正すること。これは、判別性の高い表現を学習するために不可欠である。
• 統一された自動符号化フレームワークを通じて、ポイントクラウドにおける局所的およびグローバルな幾何的構造の統合的学習を可能にすること。
• 複数のスケールレベルで重要なポイント、スケール、領域を強調する階層的自己注意メカニズムを導入すること。
• 局所領域における複数スケールの段階的再構成を可能にするRNNベースのデコーダーを設計すること。
• 局所再構成を活用することで、教師なしでポイントクラウドのアップサンプリングを実現すること。

提案手法

• エンコーダーはポイント、スケール、領域の各レベルで特徴を抽出する階層的アーキテクチャを採用し、各レベル内で顕著な特徴を強調する新しい階層的自己注意機構を導入する。
• 局所領域はサンプリングされた重心の周囲に定義され、各領域からマルチスケール特徴が抽出され、異なる解像度での局所幾何を捉える。
• 同じレベルの特徴間の相関関係をモデル化する自己注意を用いて、階層的表現からグローバル特徴を集約する。
• デコーダーはRNNを用い、局所領域から始めて段階的にグローバル形状を構築する順序でスケールを再構成する。
• デコーディング中に特徴をアップサンプリングするための補間層を用い、密な局所領域の階層的再構成を可能にする。
• 局所再構成損失（局所構造のため）とグローバル再構成損失（形状忠実度のため）の両方を用いて、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層オートエンコーダーは、従来の手法よりも、ポイントクラウドにおける局所的およびグローバルな構造をより効果的に同時に学習できるか？
• RQ2 階層的自己注意は、重要なポイント、スケール、領域を強調することで、特徴抽象化をどのように向上させるか？
• RQ3 RNNベースのデコーダーは、複数スケールの局所再構成の順序的性質を効果的にモデル化でき、グローバル形状生成に寄与するか？
• RQ4 ローカルからグローバルへの再構成は、ポイントクラウド分類、リtrieval、アップサンプリングの性能をどの程度向上させるか？
• RQ5 教師なしアップサンプリングは、教師なしで局所再構成を活用することで、実際に効果的に達成できるか？

主な発見

• L2G-AEは、ModelNet10およびModelNet40ベンチマークにおいて、最先端の手法を上回る競争力ある性能を示し、形状分類およびリtrievalの分野で優れた結果を達成した。
• モデルは非教師ありポイントクラウドアップサンプリングにおいて優れた一般化性能を示し、スパースな入力（625ポイント）から局所再構成結果をダウンサンプリングすることで、密なポイントクラウドを生成した。
• 定量的評価では、L2G-AEがアップサンプリングタスクにおいてModelNet10で平均チェンバーカルバック距離（mCD）0.0028を達成し、訓練時に教師データを一切使用しないにもかかわらず、PU-Net や EC-Net といった教師あり手法と同等の性能を示した。
• 注目マップの可視化により、モデルがエッジ、コーナー、突出部などの顕著な局所領域に注目していることが確認され、効果的な注目メカニズムの学習が行われていることが示された。
• スケールレベルの注目メカニズムは、より豊富な局所構造的情報を含む第4スケールに高い注目度を示しており、モデルが情報量の多いスケールを適切に優先できていることを裏付けた。
• ポイントレベルの注目可視化により、ネットワークが各局所領域内でキーポイントにのみ注目していることが明らかになり、正確な局所パターンの捉え込みが可能であることが示された。