[論文レビュー] Global Context Aware Convolutions for 3D Point Cloud Understanding

Zhiyuan Zhang, Binh‐Son Hua+3 more|arXiv (Cornell University)|Aug 7, 2020

3D Shape Modeling and Analysis参考文献 46被引用数 5

ひとこと要約

本稿では、グローバルに重み付けされた局所基準枠とアンカーポイントを用いてグローバルな文脈を統合することで、特徴の特徴的差別性を向上させる回転不変な3次元点群畳み込みGCAConvを提案する。局所的近傍とグローバルな形状特徴の関係を符号化することで、回転が強い条件下でも物体分類、パーツセグメンテーション、形状検索、法線推定の分野で最先端の性能を達成する。

ABSTRACT

Recent advances in deep learning for 3D point clouds have shown great promises in scene understanding tasks thanks to the introduction of convolution operators to consume 3D point clouds directly in a neural network. Point cloud data, however, could have arbitrary rotations, especially those acquired from 3D scanning. Recent works show that it is possible to design point cloud convolutions with rotation invariance property, but such methods generally do not perform as well as translation-invariant only convolution. We found that a key reason is that compared to point coordinates, rotation-invariant features consumed by point cloud convolution are not as distinctive. To address this problem, we propose a novel convolution operator that enhances feature distinction by integrating global context information from the input point cloud to the convolution. To this end, a globally weighted local reference frame is constructed in each point neighborhood in which the local point set is decomposed into bins. Anchor points are generated in each bin to represent global shape features. A convolution can then be performed to transform the points and anchor features into final rotation-invariant features. We conduct several experiments on point cloud classification, part segmentation, shape retrieval, and normals estimation to evaluate our convolution, which achieves state-of-the-art accuracy under challenging rotations.

研究の動機と目的

• 回転不変な3次元点群畳み込みと並進不変なものの間の性能差を埋めるために、特徴の特徴的差別性を向上させること。
• 回転不変特徴は幾何的情報が減少するため、並進不変な特徴よりも特徴的差別性が低いという制限を克服すること。
• 局所畳み込みにグローバル形状文脈を統合することで、回転不変性を維持したまま特徴の差別的パワーを高めること。
• 任意の回転に対して一貫した性能を示す神経ネットワークアーキテクチャ（GCANet）を構築すること。
• 回転が加えられたデータにおいて、複数の3次元理解タスクにおけるグローバル文脈統合の有効性を実証すること。

提案手法

• 各キーポイントの近傍に対して、回転に対して一貫した局所座標定義を可能にするグローバルに重み付けされた局所基準枠を構築する。
• グローバル基準枠に基づいて各局所的近傍を空間的なボックスに分割し、各ボックスにアンカーポイントを生成してグローバルな形状特徴を表現する。
• 局所的点特徴とグローバルアンカーフィーチャーの両方に対して畳み込み演算を実行し、回転不変な出力特徴を生成する。
• 学習可能なアテンションメカニズムを用いてグローバルアンカーフィーチャーの寄与度を重み付けし、文脈に配慮した特徴集約を実現する。
• スキップ接続と正規化を組み合わせた複数のGCAConv層をスタックする深層ネットワークアーキテクチャGCANetを設計し、頑健な特徴学習を実現する。
• ボトルネック層の特徴を用いて、形状検索および法線推定タスクにおける転移学習を実施し、回転不変性を維持する。

実験結果

リサーチクエスチョン

• RQ1 グローバル文脈の統合は、回転不変な3次元点群特徴の差別的パワーを向上させ得るか？
• RQ2 任意の回転条件下で、回転不変畳み込みの性能は並進不変な類似手法と比べてどうなるか？
• RQ3 グローバルに重み付けされた局所基準枠は、3次元点群における局所的特徴学習のロバスト性と一貫性を向上させ得るか？
• RQ4 局所畳み込みにグローバルアンカーフィーチャーを統合することで、下流タスクにおける回転モードの多様性にわたる一般化性能が向上するか？
• RQ5 グローバル文脈認識は、回転不変と並進不変な3次元畳み込みニューラルネットワークの間の性能格差をどの程度埋めることができるか？

主な発見

• SHREC’17プロトコル下で、ShapeNet Coreにおける形状検索タスクでGCAConvは82.9%の精度と81.3%のNDCGを達成し、最先端の性能を示した。
• 法線推定タスクにおけるModelNet40では、GCAConvはz/SO3、SO3/SO3、z/zの回転モードすべてで標準偏差がたった0.01にとどまり、RIConvやPointNet++を上回る一貫性を示した。
• 物体分類タスクでは、回転が加えられたテスト設定下でも、PointNet++ や RS-CNN といった並進不変モデルと同等またはそれ以上の性能を達成した。
• 同じベンチマークで、GCAConvは66.8%のマクロF1スコアを達成し、SFCNN（59.4%）やSpherical CNN（56.5%）を上回った。
• 可視化比較では、GCAConvは最小限の誤差で最も正確かつグローバルに一貫性のある法線を生成し、高精度領域でも誤差が最小限に抑えられていた。
• アブレーションスタディの結果、特に厳しい回転条件下でも、グローバル文脈統合が特徴の特徴的差別性を顕著に向上させることを確認した。