[論文レビュー] Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models

Roman Klokov, Victor Lempitsky|arXiv (Cornell University)|Apr 4, 2017

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本論文では、kdツリーを用いて3次元点群を構造化し、均一なグリッドに依存せずに階層的特徴学習を実行する深層学習アーキテクチャ、Kd-networksを提案する。ノード間でパラメータを共有し、乗法的変換を適用することで、グリッドベースのConvNetsに比べてメモリ使用量が低く、推論が速いにもかかわらず、3次元形状分類、リtrieval、パーツセグメンテーションにおいて競争力のある性能を達成する。

ABSTRACT

We present a new deep learning architecture (called Kd-network) that is designed for 3D model recognition tasks and works with unstructured point clouds. The new architecture performs multiplicative transformations and share parameters of these transformations according to the subdivisions of the point clouds imposed onto them by Kd-trees. Unlike the currently dominant convolutional architectures that usually require rasterization on uniform two-dimensional or three-dimensional grids, Kd-networks do not rely on such grids in any way and therefore avoid poor scaling behaviour. In a series of experiments with popular shape recognition benchmarks, Kd-networks demonstrate competitive performance in a number of shape recognition tasks such as shape classification, shape retrieval and shape part segmentation.

研究の動機と目的

• 3次元畳み込みネットワークが点群処理に均一なボクセルグリッドに依存するため生じるスケーラビリティと効率性の制限を解消すること。
• kdツリーのような階層的空間インデックス構造が、従来のConvNetsがグリッドに依存するのと同様に、深層学習アーキテクチャの基盤として機能できるかを検討すること。
• kdツリーの分割に基づくパラメータ共有メカニズムを設計し、非構造化点群における効果的な階層的特徴学習を可能にすること。
• 提案アーキテクチャを標準的な3次元認識ベンチマーク、特に分類、リtrieval、パーツセグメンテーションのタスクで評価すること。
• ツリーに基づくアーキテクチャがグリッドベースのモデルと同等またはそれを上回る性能を発揮しながら、メモリ容量と計算時間を削減できることを示すこと。

提案手法

• Kd-networkアーキテクチャは、kdツリーを用いて3次元点群を再帰的に空間サブセットに分割し、階層的なツリー構造を形成する。
• kdツリーの各内部ノードは、子ノードの特徴に対して共有され、学習可能な乗法的変換を適用する。これにより、空間的サブディビジョン間でのパラメータ共有が可能になる。
• ネットワークは下位から上位への順方向の処理を実行し、kdツリーの各段階を順次通過することで、階層的表現を構築する。
• 特徴変換は、ノード表現に乗法的に適用される学習可能な重み行列によって実装され、各層でReLU非線形性とバッチ正規化が適用される。
• パーツセグメンテーションの目的では、12層の深層アーキテクチャを用い、次第に次元が増加する中間表現と、最終的に3つの全結合層からなる分類器ヘッドを持つ。
• データオーグメンテーションとマルチツリー推論（複数のkdツリー構築における予測の平均化）を用いることで、頑健性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 kdツリーに基づく計算グラフは、3次元点群認識のための深層学習において、均一なグリッドの効果的でスケーラブルな代替手段として機能できるか？
• RQ2 kdツリーのノード間でのパラメータ共有は、3次元認識タスクにおいて競争力のある性能を発揮するとともに、メモリ消費量を削減できるか？
• RQ3 Kd-networksの性能は、最先端のグリッドベースおよびポイントベースのモデルと比較して、形状分類、リtrieval、パーツセグメンテーションの各タスクでどの程度優れているか？
• RQ4 kdツリーの階層的構造は、正確な認識に不可欠な細粒度の幾何的詳細をどの程度保持できるか？
• RQ5 ボクセル化に伴うアーチファクトや非効率性を回避しながら、高精度を維持できるか？

主な発見

• Kd-networksはModelNet10およびModelNet40ベンチマークで競争力のある性能を達成し、ModelNet40ではトップ1精度が91.7%に達し、最先端のグリッドベースのモデルと同等の性能を示した。
• SHREC’16リtrievalベンチマークでは、平均平均精度（mAP）が85.2%に達し、多数のベースライン手法を上回った。
• ShapeNet-partデータセットにおけるパーツセグメンテーションでは、平均交差率（mIoU）が55.8%に達したが、これは競争力はあるもののPointNetの性能をわずかに下回った。
• 1つの学習例におけるメモリフットプリントは120 MB未満であり、典型的なグリッドベースのモデルに比べて顕著に低く、効率性の向上を示した。
• クラスの不均衡に対しても頑健であり、多様な3次元形状にわたる一般化性能が高く、セグメンテーション出力に下位のkdツリー構造に起因する目に見えるアーチファクトが見られなかった。
• ModelNetベンチマークにおいて、OctNetsおよびエッジ依存のグラフベースConvNetsを上回る性能を示した。これは、kdツリーが粗いレベルの形状分類に特に適していることを示唆している。