[論文レビュー] Point-set Distances for Learning Representations of 3D Point Clouds

Trung Nguyen, Quang-Hieu Pham+4 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 54被引用数 5

ひとこと要約

本稿では、3次元点群表現学習のためのチャームファーバリエーションとエアス・モーバー距離（EMD）の優れた代替手段として、スライスド・ワサーライン距離（SWD）およびその変種の使用を提案する。効率的な投影ベース推定を活用することで、SWDはチャームファーバリエーションに匹敵する計算効率とEMDに匹敵する精度を達成し、自己符号化、生成モデル、登録、転移学習の各タスクにおいて、より速い収束と優れた性能を実現する。

ABSTRACT

Learning an effective representation of 3D point clouds requires a good metric to measure the discrepancy between two 3D point sets, which is non-trivial due to their irregularity. Most of the previous works resort to using the Chamfer discrepancy or Earth Mover's distance, but those metrics are either ineffective in measuring the differences between point clouds or computationally expensive. In this paper, we conduct a systematic study with extensive experiments on distance metrics for 3D point clouds. From this study, we propose to use sliced Wasserstein distance and its variants for learning representations of 3D point clouds. In addition, we introduce a new algorithm to estimate sliced Wasserstein distance that guarantees that the estimated value is close enough to the true one. Experiments show that the sliced Wasserstein distance and its variants allow the neural network to learn a more efficient representation compared to the Chamfer discrepancy. We demonstrate the efficiency of the sliced Wasserstein metric and its variants on several tasks in 3D computer vision including training a point cloud autoencoder, generative modeling, transfer learning, and point cloud registration.

研究の動機と目的

• 深層学習における点群類似度の測定にあたって、チャームファーバリエーションとEMDの限界を是正すること。
• EMDの統計的頑健性とチャームファーバリエーションの計算効率を併せ持つメトリックを同定すること。
• 3次元点群の深層ネットワーク学習に適した、効率的かつ高精度なスライスド・ワサーライン距離の近似アルゴリズムを開発すること。
• 自己符号化、生成、登録、転移学習を含む多様な3次元コンピュータビジョンタスクにおいて、提案されたメトリックを実証的に検証すること。

提案手法

• 3次元点群比較のための微分可能で計算効率の良いメトリックとして、スライスド・ワサーライン距離（SWD）を提案する。
• 最適な投影サンプリングにより真のSWD値に近い推定値を保証する、アダプティブ・スライスド・ワサーライン（ASW）アルゴリズムを導入する。
• 3次元点群を1次元直線にランダムに投影することでSWDを計算し、次元削減を図るとともに構造的類似性を保持する。
• 訓練における頑健性と収束性を向上させるために、SWDの二乗版（SSW）およびマックススライスド変種（MSW）を用いる。
• チャームファーやEMD損失に代えて、SWDおよびその変種を自己符号化器における再構成損失として統合する。
• PointNet や PCN などの標準的な深層学習フレームワークを用い、複数のアーキテクチャとデータセットを対象に本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 スライスド・ワサーライン距離は、表現学習のための点群類似度測定において、チャームファーバリエーションとEMDに比べてどのように異なるか？
• RQ2 計算効率の良いEMDの変種たるスライスド・ワサーライン距離は、チャームファーバリエーションよりも優れた一般化性能と収束性を達成できるか？
• RQ3 提案されたアダプティブ・スライスド・ワサーラインアルゴリズムは、訓練中に真のSWD値の信頼できる正確な推定を提供できるか？
• RQ4 SWDベースの自己符号化器は、登録、生成、転移学習などの下流タスクにおいて、どの程度性能を向上させるか？
• RQ5 提案されたメトリックはアーキテクチャに依存せず、3次元点群用の多様なニューラルネットワーク設計に対して効果的か？

主な発見

• スライスド・ワサーライン距離（SWD）は理論的にエアス・モーバー距離（EMD）に等しく、統計的整合性を保証する一方で、計算複雑度がO(N log N)に抑えられ、チャームファーバリエーションと同等の効率を有する。
• 提案されたアダプティブ・スライスド・ワサーライン（ASW）アルゴリズムは、推定されたSWD値が真の値に近いことを保証し、信頼性のある訓練を可能にする。
• ShapeNet および ModelNet40 ベンチマークにおいて、SWDベースの自己符号化器（SW-AE）は、点群登録タスクの3DMatchで平均リCALL 57.4%を達成し、チャームファーバリエーション（51.3%）およびEMD（50.3%）のベースラインを上回った。
• 3次元自己符号化タスクにおいて、SSW-AEは300エポック目で平均チャームファーバリエーション距離0.091を達成し、CD-AE（0.314）およびEMD-AE（0.144）を著しく下回り、収束が速いことが示された。
• PCNアーキテクチャにおいて、SWDを用いることでModelNet40での分類精度が88.78%に向上し、チャームファーバリエーション損失に比べ0.33%の向上を達成した一方で、再構成誤差は65%削減された。
• SWDによる訓練は1イテレーションあたり138msで実行され、EMD（385ms）を上回り、チャームファーバリエーション（120ms）と同等の速度を達成しており、計算効率が確認された。