[論文レビュー] Canonical Capsules: Unsupervised Capsules in Canonical Pose

Weiwei Sun, Andrea Tagliasacchi+5 more|arXiv (Cornell University)|Dec 8, 2020

3D Shape Modeling and Analysis参考文献 60被引用数 22

ひとこと要約

本稿では、3次元点群のための教師なしキャプセルアーキテクチャを提案する。このアーキテクチャは、回転させた同一オブジェクトのペアを用いた自己教師学習により、オブジェクトをキャプセルに分解するための置換不変性のあるアテンションを用いる。アテンションマスクを統合して意味的キーポイントを生成することで、キャプセルの不変性・等変性を強制し、ラベルやアライメント済みデータセットが不要なオブジェクト中心の表現学習を可能にし、3次元再構成、登録、教師なし分類の分野で最先端の性能を達成する。

ABSTRACT

We propose an unsupervised capsule architecture for 3D point clouds. We compute capsule decompositions of objects through permutation-equivariant attention, and self-supervise the process by training with pairs of randomly rotated objects. Our key idea is to aggregate the attention masks into semantic keypoints, and use these to supervise a decomposition that satisfies the capsule invariance/equivariance properties. This not only enables the training of a semantically consistent decomposition, but also allows us to learn a canonicalization operation that enables object-centric reasoning. In doing so, we require neither classification labels nor manually-aligned training datasets to train. Yet, by learning an object-centric representation in an unsupervised manner, our method outperforms the state-of-the-art on 3D point cloud reconstruction, registration, and unsupervised classification. We will release the code and dataset to reproduce our results as soon as the paper is published.

研究の動機と目的

• 分類ラベルや手動アノテーションが一切不要な、3次元点群における教師なしキャプセルベースのアーキテクチャを構築すること。
• 入力オブジェクトのランダム回転を用いた自己教師学習により、キャプセルの不変性・等変性の性質を満たすキャプセル分解を可能にすること。
• アテンションマスクを意味的キーポイントに統合することで、オブジェクト中心の推論を支援する正規化操作を学習すること。
• 分類ラベルやペairedデータを一切使用せず、教師なし学習のみで3次元再構成、登録、教師なし分類の分野で最先端の性能を達成すること。

提案手法

• 本手法は、3次元点群からキャプセル活性を計算するために置換不変性のあるアテンションを用い、点の順序変更に対しても一貫したアテンションを保証する。
• 同じオブジェクトのランダムに回転させた2つのバージョンのペアを用いて自己教師学習を実施し、回転に対する等変性を強制する。
• アテンションマスクを意味的キーポイントに統合し、それらをキャプセルの不変性・等変性の原則に従ったキャプセル挙動の整合性を保つための監督信号として用いる。
• エンドツーエンドで正規化操作を学習し、入力の姿勢に関わらず一貫したオブジェクト中心の表現を可能にする。
• 分類ラベルやペアデータを一切使用せず、監督信号として回転によるデータオーグメンテーションに依存する。

実験結果

リサーチクエスチョン

• RQ1 3次元点群におけるキャプセルベースの表現は、完全に教師なしで学習可能であり、意味的整合性を保てるか？
• RQ2 分類ラベルやアライメントデータが与えられない状況でも、キャプセルの不変性・等変性をどのように強制できるか？
• RQ3 意味的キーポイントへのアテンションマスクの統合は、キャプセル分解の有効な監督信号として機能するか？
• RQ4 教師なしキャプセル学習は、3次元再構成、登録、分類の性能をどの程度向上できるか？

主な発見

• 提案手法は、ラベルデータを一切使用せずに3次元点群再構成で最先端の性能を達成した。
• 3次元登録において、従来の教師なし手法を上回り、オブジェクト中心の表現により、より高いアライメント精度を実現した。
• 教師なし分類においても優れた性能を示し、学習されたキャプセルが意味的に意味のある特徴を捉えていることを示した。
• 正規化操作により、入力の回転にかかわらず一貫したオブジェクト表現が得られ、頑健なオブジェクト中心の推論を可能にした。