[論文レビュー] Modeling Local Geometric Structure of 3D Point Clouds using Geo-CNN

Shiyi Lan, Ruichi Yu+2 more|arXiv (Cornell University)|Nov 19, 2018

3D Shape Modeling and Analysis参考文献 52被引用数 15

ひとこと要約

本稿では、GeoConvと呼ばれる畳み込みに類似した演算を用いて局所的な幾何構造を明示的にモデル化する新しい3次元点群ネットワーク、Geo-CNNを提案する。GeoConvは、中心点とその近傍点間のエッジ特徴を3つの直交基底に分解し、ベクトルの向きに応じて特徴を集約することで、ユークリッド幾何を保持する。この手法により、ModelNet40（93.4%の正確度）およびKITTIで最先端の性能を達成した。

ABSTRACT

Recent advances in deep convolutional neural networks (CNNs) have motivated researchers to adapt CNNs to directly model points in 3D point clouds. Modeling local structure has been proven to be important for the success of convolutional architectures, and researchers exploited the modeling of local point sets in the feature extraction hierarchy. However, limited attention has been paid to explicitly model the geometric structure amongst points in a local region. To address this problem, we propose Geo-CNN, which applies a generic convolution-like operation dubbed as GeoConv to each point and its local neighborhood. Local geometric relationships among points are captured when extracting edge features between the center and its neighboring points. We first decompose the edge feature extraction process onto three orthogonal bases, and then aggregate the extracted features based on the angles between the edge vector and the bases. This encourages the network to preserve the geometric structure in Euclidean space throughout the feature extraction hierarchy. GeoConv is a generic and efficient operation that can be easily integrated into 3D point cloud analysis pipelines for multiple applications. We evaluate Geo-CNN on ModelNet40 and KITTI and achieve state-of-the-art performance.

研究の動機と目的

• 既存の3次元点群ネットワークにおける局所的幾何構造の明示的モデリングの欠如に取り組む。
• 幾何構造学習を妨げる3次元座標のばらつきを低減する。
• 深層特徴階層全体にわたり、ユークリッド空間内の幾何的関係を保持する。
• 入力レベルのデータ増強に依存せずに、効率的な回転等変換不変な特徴学習を可能にする。
• 3次元点群分類および検出において最先端の性能を達成する。

提案手法

• GeoConvは、半径によって定義された局所的な球面近傍を持つ各点に対して、畳み込みに類似した演算を適用する。
• 中心点と近傍点間のエッジ特徴を、3つの直交基底（x, y, z）に分解することで、座標のばらつきを低減する。
• 方向に依存する重み行列を各基底に適用し、それぞれの基底に沿った特徴を抽出した後、エッジベクトルと各基底のなす角度に応じて重み付けして集約する。
• エッジベクトルのノルムでエッジ特徴を重み付けすることで、局所的特徴を計算し、幾何的構造を保持する。
• 受容 field が増加する複数の GeoConv 层を階層的に積み重ね、チャネル単位の最大プーリングを用いて順列不変性を確保する。
• 角度の再重み付けにより、入力の増強なしに3次元回転を近似する特徴レベルのマルチビュー増強を実現する。

実験結果

リサーチクエスチョン

• RQ1 局所的幾何構造の明示的モデリングは、3次元点群表現学習を向上させ得るか？
• RQ2 直交基底に沿ったエッジ特徴の分解は、幾何的不変性と性能を向上させるか？
• RQ3 入力レベルのデータ増強に依存せずに、深層特徴階層全体で幾何的構造を保持できるか？
• RQ4 提案手法は、既存のモデルよりも3次元形状分類および物体検出で優れた性能を達成するか？
• RQ5 特徴レベルのマルチビュー増強は、入力レベルの増強よりも一般化性能を向上させるか？

主な発見

• Geo-CNNはModelNet40ベンチマークで93.4%の正確度を達成し、新たな最先端性能を樹立した。
• ablation実験により、モデルの複雑さの増加による性能向上ではないことが示された。
• 特徴レベルのマルチビュー近似により、Geo-CNNの正確度はModelNet40で93.9%に向上し、入力レベルの増強を上回った。
• 入力レベルのマルチビュー増強は、ベースラインおよびGeo-CNNの両方で性能を低下させた。これは、視点間のばらつきが高いためと考えられる。
• ablationスタディにより、ベクトル分解による幾何的構造モデリングが、単にパrameter数の増加によるものではないことが確認された。
• GeoConvは、角度に基づく集約により、効率的かつ回転等変換不変な特徴学習を可能にし、一般化性能を向上させた。