[論文レビュー] Pointwise Convolutional Neural Networks

Binh‐Son Hua, Minh-Khoi Tran+1 more|arXiv (Cornell University)|Dec 14, 2017

3D Shape Modeling and Analysis参考文献 40被引用数 11

ひとこと要約

本稿では、3次元点群の各点に対して局所的特徴を学習するために適用される、点群における新しい畳み込み演算子「ポイントワイド畳み込み」を導入する。この手法により、セマンティックセグメンテーションおよびオブジェクト認識のための単純で完全畳み込み型のニューラルネットワークの構築が可能となり、ModelNet40およびObjectNNベンチマークで競争力のある精度を達成しながら、実装の簡潔さを維持している。

ABSTRACT

Deep learning with 3D data such as reconstructed point clouds and CAD models has received great research interests recently. However, the capability of using point clouds with convolutional neural network has been so far not fully explored. In this paper, we present a convolutional neural network for semantic segmentation and object recognition with 3D point clouds. At the core of our network is pointwise convolution, a new convolution operator that can be applied at each point of a point cloud. Our fully convolutional network design, while being surprisingly simple to implement, can yield competitive accuracy in both semantic segmentation and object recognition task.

研究の動機と目的

• 構造のない3次元点群に直接畳み込みニューラルネットワークを適用する課題に対処すること。
• ボクセル化やマルチビュー投影、複雑なグラフベースの構造に依存する既存の3次元CNNの制限を克服すること。
• 点群データに特化した、空間的関係を各点で保持するシンプルで効果的な畳み込み演算子を設計すること。
• ポイントワイド畳み込みを用いて、セマンティックセグメンテーションおよびオブジェクト認識の両方のタスクに対して完全畳み込み型ネットワークを実現すること。
• 点群を固定順序で並べ、ポイントワイド畳み込みを適用することで、先行手法よりも単純なアーキテクチャで競争力のある性能を達成できることを示すこと。

提案手法

• 各点の局所的近傍に作用する新しい畳み込み演算子「ポイントワイド畳み込み」を提案する。
• 各点に対してk個の近隣点を照会し、それをカーネルセルに分割した後、学習可能なカーネル重みを適用する。
• 複数のポイントワイド畳み込み層を積み重ねることで、エンドツーエンド学習が可能な深く完全畳み込み型のネットワークを構築する。
• 分類またはセグメンテーションヘッドへの入力前に、複数の畳み込み処理の出力を特徴量連結することで、点単位の表現を豊かにする。
• ポイントワイド畳み込みを用いて、点ごとの予測（セマンティックセグメンテーション）およびグローバル分類（オブジェクト認識）の両方のタスクに適用する。
• 入力点群の固定順序を用いることで、一貫した特徴学習を実現し、本質的に順序のない点群を構造的入力として扱う。

実験結果

リサーチクエスチョン

• RQ1 構造のない3次元点群から効果的に局所的特徴を学習できる、シンプルなポイントワイド畳み込み演算子を設計できるか？
• RQ2 ポイントワイド畳み込みに基づく完全畳み込み型ネットワークは、既存の手法と比較して、セマンティックセグメンテーションおよびオブジェクト認識において競争力のある性能を達成できるか？
• RQ3 ModelNet40やObjectNNといった標準ベンチマークにおいて、ポイントワイド畳み込みの性能は、PointNetなどの最先端モデルと比較してどの程度か？
• RQ4 入力点群の順序付けが、提案手法の性能にどの程度影響を与えるか？
• RQ5 ポイントワイド畳み込みを用いて、大規模な3次元シーン理解タスクに適した効率的でスケーラブルなアーキテクチャを構築できるか？

主な発見

• 提案されたポイントワイド畳み込みニューラルネットワークは、ModelNet40オブジェクト認識データセットで平均81.4%の精度を達成した。PointNetの86.3%と比較して、より単純なアーキテクチャでありながら、競争力のある性能を示している。
• ObjectNNデータセットでは平均57.1%の精度を達成し、PointNetの56.0%をわずかに上回り、多様なオブジェクトカテゴリへの強い一般化性能を示している。
• クラスごとの精度分析では、いす、テーブル、ランプといった一般的なオブジェクトで強く、複数のクラスで80%以上の精度を達成している。
• ModelNet40では「ギター」クラスで98.0%、「花の鉢」および「ガラスボックス」クラスで100.0%の精度を達成しており、特徴的な形状に対する強固な特徴抽出能力を示している。
• 学習されたフィルタの可視化から、スパarsな、滑らかで交互に正負の重みを持つパターンが観察され、効果的な局所的特徴抽出が行われていることが示唆された。
• より単純な設計であるにもかかわらず、セグメンテーションおよび認識の両タスクで競争力のある性能を発揮しており、ポイントワイド畳み込みの有効性が裏付けられた。