[論文レビュー] FPNN: Field Probing Neural Networks for 3D Data

Yangyan Li, Sören Pirk+3 more|arXiv (Cornell University)|May 20, 2016

3D Shape Modeling and Analysis参考文献 33被引用数 209

ひとこと要約

本論文は Field Probing Neural Networks (FPNN) を提案し、 probing points の重みと位置の両方を学習して、3D場から特徴を効率的に抽出し、標準的な 3D CNNs より計算量を抑えつつ、競争力のある 3D オブジェクト分類を達成する。

ABSTRACT

Building discriminative representations for 3D data has been an important task in computer graphics and computer vision research. Convolutional Neural Networks (CNNs) have shown to operate on 2D images with great success for a variety of tasks. Lifting convolution operators to 3D (3DCNNs) seems like a plausible and promising next step. Unfortunately, the computational complexity of 3D CNNs grows cubically with respect to voxel resolution. Moreover, since most 3D geometry representations are boundary based, occupied regions do not increase proportionately with the size of the discretization, resulting in wasted computation. In this work, we represent 3D spaces as volumetric fields, and propose a novel design that employs field probing filters to efficiently extract features from them. Each field probing filter is a set of probing points --- sensors that perceive the space. Our learning algorithm optimizes not only the weights associated with the probing points, but also their locations, which deforms the shape of the probing filters and adaptively distributes them in 3D space. The optimized probing points sense the 3D space "intelligently", rather than operating blindly over the entire domain. We show that field probing is significantly more efficient than 3DCNNs, while providing state-of-the-art performance, on classification tasks for 3D object recognition benchmark datasets.

研究の動機と目的

• キューブのコストに制約されない、Efficientで識別性の高い 3D データ特徴学習を提案する。
• 学習可能な probing 点と重みによってフィルターが定義される field probing フレームワークを提案する。
• probe の位置と重みの両方を学習することが、長距離でスパースな感知能力を生み出すことを示す。
• field probing 層が 3D 分類ベンチマークで、計算量を大幅に削減しつつ競争力のある精度を提供することを示す。

提案手法

• 3D データを体積場として表現する（例：距離場、法線場）。
• 従来の 3D 畳み込みを、Sensor、DotProduct、Gaussian 層からなる field probing 層に置換する。
• Backpropagation を用いて probing 点の位置とフィルター重みの両方を訓練する。
• 距離場の値に Gaussian 変換を適用して、表面近傍のサンプルを強調する。
• probing 点を広く初期化し、学習によって有益な領域を感知するように位置を調整させる。

実験結果

リサーチクエスチョン

• RQ1 probes の位置と重みの両方を最適化して、field probing フィルターは 3D 空間を効率的に感知することを学習できるか？
• RQ2 さまざまな解像度と sparsity レベルで、field probing 層は 3D CNN より低い計算コストで競争力のある 3D オブジェクト分類精度を達成するか？
• RQ3 学習された特徴は空間的摂動に対して頑健で、データセット間で転用可能か？
• RQ4 入力場解像度を上げることや複数の場を取り入れることが性能にどう影響するか？

主な発見

• Field probing 層はベースラインに対して大幅な精度向上をもたらす（例：1-FC 設定で 79.1% から 85.0% へ改善）。
• field probing を組み込んだより深い 4-FC ネットワークは 87.5% の精度を得、浅いネットワークよりベースラインとの差が小さい。
• 複数の入力場（距離と法線）を使用すると一貫した性能向上を得られる。
• 手法は空間摂動（回転、平行移動、スケーリング）に対して頑健である。
• 高い入力場解像度は性能を向上させる一方、計算コストは解像度に大きく依存しない。