[論文レビュー] Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds

Yongming Rao, Jiwen Lu+1 more|arXiv (Cornell University)|Mar 29, 2020

3D Shape Modeling and Analysis参考文献 52被引用数 12

ひとこと要約

本稿では、局所的部分とグローバル形状の間の双方向的推論を活用する自己教師あり3Dポイントクラウド表現学習手法であるグローバルローカル双方向推論（GLR）を提案する。局所的からグローバルへのメトリクス学習とグローバルから局所への再構成／法線推定を同時に最適化することで、単純で広いSSG PointNet++バックボーンを用いても、ModelNet40（93.0%）およびScanObjectNN（87.2%）で自己教師あり手法として最先端の性能を達成し、教師ありモデルを上回る。

ABSTRACT

Local and global patterns of an object are closely related. Although each part of an object is incomplete, the underlying attributes about the object are shared among all parts, which makes reasoning the whole object from a single part possible. We hypothesize that a powerful representation of a 3D object should model the attributes that are shared between parts and the whole object, and distinguishable from other objects. Based on this hypothesis, we propose to learn point cloud representation by bidirectional reasoning between the local structures at different abstraction hierarchies and the global shape without human supervision. Experimental results on various benchmark datasets demonstrate the unsupervisedly learned representation is even better than supervised representation in discriminative power, generalization ability, and robustness. We show that unsupervisedly trained point cloud models can outperform their supervised counterparts on downstream classification tasks. Most notably, by simply increasing the channel width of an SSG PointNet++, our unsupervised model surpasses the state-of-the-art supervised methods on both synthetic and real-world 3D object classification datasets. We expect our observations to offer a new perspective on learning better representation from data structures instead of human annotations for point cloud understanding.

研究の動機と目的

• 人為的ラベルなしで強力で汎用性の高い3Dポイントクラウド表現を学習すること。
• 3Dオブジェクトの局所的部分とグローバル形状の両方で共有される構造的知識と高レベルの意味的知識を捉えること。
• 3Dポイントクラウドに内在する構造的整合性を活用することで、非教師あり表現学習を向上させること。特に、局所的部分がグローバル属性を反映していることを利用する。
• 非教師ありモデルが、下流タスクにおける判別力と耐障害性において、教師ありモデルを上回ることを示すこと。

提案手法

• 局所的からグローバルへの推論とグローバルから局所的への推論を組み合わせた二ストリームフレームワークとして、グローバルローカル双方向推論（GLR）を提案する。
• 局所的からグローバルへの推論を自己教師ありメトリクス学習タスクとして用いる：局所特徴は、他のオブジェクトの特徴よりもそのグローバル特徴に近づくように学習する。
• グローバルから局所的への推論を自己再構成と法線推定により実装し、グローバル特徴が詳細な構造的情報を符号化していることを保証する。
• 対照的損失を用いて、バックボーンネットワーク（SSG PointNet++）と再構成・法線推定用の補助ヘッドをエンドツーエンドで同時に学習する。
• 下流分類タスク用に、最大プーリングされたグローバル特徴を最終表現として用い、人為的ラベルなしで学習する。
• 判別力の評価のため、特徴の性能を評価するために線形SVMを適用する。

実験結果

リサーチクエスチョン

• RQ1 局所的部分とグローバル形状の間の双方向的推論は、非教師あり3Dポイントクラウド表現学習を向上させ得るか？
• RQ2 構造的・意味的整合性に基づく自己教師あり学習は、下流タスクにおいて教師あり事前学習を上回る性能を発揮できるか？
• RQ3 シンプルで広いSSG PointNet++バックボーンをGLRで事前学習することで、どの程度最先端の性能を達成できるか？
• RQ4 部分と全体オブジェクト間の共有属性学習は、3D分類における汎用性と耐障害性を向上させるか？

主な発見

• 非教師ありGLRモデルは、ModelNet40で単一ビュー分類精度93.0%を達成し、最先端の教師あり手法を上回った。
• 実世界のScanObjectNNデータセットでは、GLRモデルが87.2%の精度を達成し、最先端の非教師ありおよび教師ありベースラインをすべて上回った。
• シンプルで細いSSG PointNet++バックボーンを用いても、非教師ありGLRモデルはModelNet40で92.2%の精度を達成し、多くの教師ありモデルを上回った。
• 複数のベンチマークで検証された結果、GLRが学習する非教師あり表現は、教師ありモデルのそれよりも判別力が高く、汎用性と耐障害性に優れていることが示された。
• SSG PointNet++バックボーンのチャネル幅を増加させることで性能がさらなる向上を示し、GLRフレームワークのスケーラビリティと有効性が裏付けられた。