[論文レビュー] APSNet: Attention Based Point Cloud Sampling

Yang Ye, Xiulong Yang+1 more|arXiv (Cornell University)|Oct 11, 2022

3D Surveying and Cultural Heritage被引用数 6

ひとこと要約

APSNetは、LSTMとアテンションを用いて順次的かつ自己回帰的なプロセスとしてサンプリングをモデル化する、アテンションベースの順次的ポイントクラウドサンプリング手法を提案する。この手法は、3次元分類、再構築、登録において最先端の性能を達成し、低サンプルサイズ（例：m ≤ 128）において従来手法より最大8%の精度向上を達成する。また、1つのコンactなモデルを用いて任意のサンプル長に対する統合学習を可能としている。

ABSTRACT

Processing large point clouds is a challenging task. Therefore, the data is often downsampled to a smaller size such that it can be stored, transmitted and processed more efficiently without incurring significant performance degradation. Traditional task-agnostic sampling methods, such as farthest point sampling (FPS), do not consider downstream tasks when sampling point clouds, and thus non-informative points to the tasks are often sampled. This paper explores a task-oriented sampling for 3D point clouds, and aims to sample a subset of points that are tailored specifically to a downstream task of interest. Similar to FPS, we assume that point to be sampled next should depend heavily on the points that have already been sampled. We thus formulate point cloud sampling as a sequential generation process, and develop an attention-based point cloud sampling network (APSNet) to tackle this problem. At each time step, APSNet attends to all the points in a cloud by utilizing the history of previously sampled points, and samples the most informative one. Both supervised learning and knowledge distillation-based self-supervised learning of APSNet are proposed. Moreover, joint training of APSNet over multiple sample sizes is investigated, leading to a single APSNet that can generate arbitrary length of samples with prominent performances. Extensive experiments demonstrate the superior performance of APSNet against state-of-the-arts in various downstream tasks, including 3D point cloud classification, reconstruction, and registration.

研究の動機と目的

• FPSのようなタスクに依存しないサンプリング手法の限界、すなわち下流タスクに不適切な点を選択する問題を解決すること。
• 以前にサンプリングされた点に基づいて動的に点を選択する、タスク指向のサンプリング戦略を開発し、特定のタスクに適した高品質なサンプルを得ること。
• 複数のサンプルサイズに対して統合学習を可能にすることで、1つのモデルが効率的に多様なサンプルサイズを生成できるようにし、各サンプルサイズごとに別々のモデルを再訓練する必要を減らすこと。
• APSNetの学習パラダイムとして、教師ありおよび自己教師あり（知識蒸留）の両方を検討し、ラベル付きデータが不要な状況でも一般化性能を高めること。

提案手法

• 各新しい点が以前にサンプリングされた点の履歴に基づいて選択される、順次的かつ自己回帰的な生成プロセスとしてポイントクラウドサンプリングを定式化する。
• すべてのポイントを注目し、文脈に適した表現を計算することで、次に最も情報量の多い点を選択するためのLSTMにアテンション機構を組み込む。
• 順次的サンプリングプロセスの前段階として、入力ポイントクラウドからの幾何的特徴を抽出するために簡素化されたPointNetバックボーンを採用する。
• 複数のサンプルサイズ（C_s = {8,16,32,64,128}）にわたる統合学習戦略を導入し、任意の長さのサンプルを生成可能な1つのAPSNetモデルを訓練する。
• 二重損失最適化を適用する：タスク固有の損失（例：分類または再構築）と、サンプル集合の多様性と情報量の高さを促進するためのサンプリング損失。
• 教師モデルがラベル付きデータで事前に学習された状態で、ラベルなしの推論段階でも動作可能な自己教師学習（知識蒸留）を用いた学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 順次的かつアテンションベースのサンプリング手法は、FPS やグリッドサンプリングのような1回性でタスクに依存しない手法よりも、下流の3次元ビジョンタスクで優れた性能を発揮できるか？
• RQ2 自己回帰的LSTMにアテンションを組み込むことで、サンプル同士の依存関係をモデル化することで、SampleNetのような非順次的サンプリングネットワークに比べ、サンプル品質が向上するか？
• RQ3 複数のサンプルサイズにわたる統合学習により、再訓練を伴わず、1つのAPSNetモデルが多様なサンプルサイズで高品質なサンプルを生成できるか？
• RQ4 ラベル付きデータが入手不可な状況下でも、自己教師学習による知識蒸留はAPSNetの学習にどの程度効果的か？

主な発見

• 3次元ポイントクラウド分類において、低サンプルサイズ（m ≤ 128）でSampleNet-Mに比べ2%～8%の精度向上を達成し、優れたサンプル品質を示している。
• APSNet-Gは、冗長な点の生成を回避する自己回帰的設計により、特に低mでSampleNet-Mを常に上回る性能を発揮しており、高価なマッチングステップを必要としない。
• 複数のサンプルサイズにわたる統合学習で訓練されたAPSNet-Jointは、全m値で競争力のある性能を発揮し、別々に訓練されたSampleNetモデルを常に上回る。
• ラベルなしで知識蒸留により学習されたAPSNet-KDは、完全に教師ありで学習されたAPSNetとほぼ同等の性能を達成しており、自己教師学習環境下でも優れた一般化性能を示している。
• m = 512で、すべての手法が完全なポイントクラウド分類の上限精度（90.1%）に近づき、高サンプリング比下では性能が飽和することを確認した。