[論文レビュー] Rotation Invariant Convolutions for 3D Point Clouds Deep Learning

Zhiyuan Zhang, Binh‐Son Hua+2 more|arXiv (Cornell University)|Aug 17, 2019

3D Surveying and Cultural Heritage被引用数 12

ひとこと要約

本稿では、3次元点群の回転不変性を確保するための回転不変畳み込み演算子RIConvを提案する。この手法は、重心に基づく基準姿勢からの相対的な低レベル幾何特徴（距離や角度など）を用い、6自由度（6-DoF）変換に対して不変性を実現する。点順序の問題を解消するために特徴をビニング戦略と組み合わせることで、物体分類およびセグメンテーションタスクにおいて任意の回転下でも一貫性があり高精度な性能を達成し、回転下での一般化性能において先行手法を上回る。

ABSTRACT

Recent progresses in 3D deep learning has shown that it is possible to design special convolution operators to consume point cloud data. However, a typical drawback is that rotation invariance is often not guaranteed, resulting in networks being trained with data augmented with rotations. In this paper, we introduce a novel convolution operator for point clouds that achieves rotation invariance. Our core idea is to use low-level rotation invariant geometric features such as distances and angles to design a convolution operator for point cloud learning. The well-known point ordering problem is also addressed by a binning approach seamlessly built into the convolution. This convolution operator then serves as the basic building block of a neural network that is robust to point clouds under 6DoF transformations such as translation and rotation. Our experiment shows that our method performs with high accuracy in common scene understanding tasks such as object classification and segmentation. Compared to previous works, most importantly, our method is able to generalize and achieve consistent results across different scenarios in which training and testing can contain arbitrary rotations.

研究の動機と目的

• 既存の3次元点群畳み込み演算子に見られる回転不変性の欠如を解消し、任意の回転下での一般化を向上させること。
• 点群畳み込みにおける点順序の曖昧さを、置換等変性ネットワークに依存せずに解消すること。
• 入力点の回転および順序の変更に対して両方の影響に強く、一貫性のある1つの畳み込み演算子を設計すること。
• 3次元シーン理解タスクにおける多様な回転シナリオにおいて、一貫した一般化性能を示す深層学習モデルを構築すること。
• 任意のSO(3)回転下で、物体分類および部品セグメンテーションにおいて最先端の一貫性と精度を示すこと。

提案手法

• 基準点から局所点群の重心へのベクトルを用いて基準姿勢を計算し、回転不変な特徴計算を可能にする。
• 各点から基準姿勢に対して相対的な回転不変幾何特徴（例：距離、角度）を抽出し、グローバルな回転に依存しない特徴ベクトルを構築する。
• 多層パーセプトロン（MLP）を用いてこれらの幾何特徴を高次元表現に変換し、特徴表現の豊かさを向上させる。
• 点特徴を基準姿勢ベクトルに沿って空間的ビンにグループ化し、各ビン内で最大プーリングを適用して局所情報を集約する。
• プールドされたビン特徴に1次元畳み込みを適用し、最終的な出力特徴マップを生成することで、局所領域内での空間的不変性を確保する。
• 全畳み込み演算をコンactなCNNアーキテクチャに統合し、分類およびセグメンテーションタスクにおけるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意の6自由度（6-DoF）変換（回転および平行移動を含む）に対して不変である3次元点群用畳み込み演算子を設計できるか？
• RQ2 置換等変性ネットワークに依存せずに、点群畳み込みにおける点順序の曖昧さをどのように解消できるか？
• RQ3 距離や角度といった低レベル幾何特徴を、深層学習における回転不変表現を構築するために効果的に利用できるか？
• RQ4 提案手法は、3次元シーン理解タスクにおける多様な回転シナリオにおいて、既存手法よりも優れた一般化性能を示すか？
• RQ5 元の3次元座標情報の喪失が性能に与える影響はどの程度か？このトレードオフはどのように緩和できるか？

主な発見

• 提案されたRIConv演算子は、SO(3)回転を含むすべてのテスト回転シナリオで一貫した性能を達成し、先行手法がしばしば失敗または著しく性能を低下させる状況でも優れた性能を示す。
• 物体分類では、ModelNet40で任意の回転下でも全体精度89.7％を達成し、一般化性能において既存手法を上回る。
• 物体部品セグメンテーションでは最先端の性能を達成し、定性的な結果から複雑な回転下でも頑健であることが示された。
• 点群サイズの変動に対しても良好に一般化され、28～1024点の範囲で高い精度を維持しており、スケーラビリティが確認された。
• 1つのグローバルベクトルではなく、64個の長さ512の特徴ベクトルを用いることで、精度がわずかに向上した。これは、より豊かな特徴表現が分類性能に寄与することを示唆している。
• 幾何特徴の代わりに元の3次元座標を復元した場合、91.8％の精度を達成した。これは、不変性と識別力の間のトレードオフが存在することを示している。