[論文レビュー] Tabulated MLP for Fast Point Feature Embedding

Yusuke Sekikawa, Teppei Suzuki|arXiv (Cornell University)|Nov 23, 2019

3D Shape Modeling and Analysis参考文献 28被引用数 4

ひとこと要約

この論文では、3次元点群の特徴埋め込みに標準的なMLPの代わりにルックアップテーブル（LUT）と三線形補間を用いるLUTI-MLPを提案する。これにより、推論速度が80倍に向上し、精度は維持またはわずかに向上する。特徴埋め込みおよびポーズ最適化のためのヤコビ行列計算において顕著な高速化が達成され、推論時における近似なしに実現される。

ABSTRACT

Aiming at a drastic speedup for point-data embeddings at test time, we propose a new framework that uses a pair of multi-layer perceptron (MLP) and look-up table (LUT) to transform point-coordinate inputs into high-dimensional features. When compared with PointNet's feature embedding part realized by MLP that requires millions of dot products, ours at test time requires no such layers of matrix-vector products but requires only looking up the nearest entities followed by interpolation, from the tabulated MLP defined over discrete inputs on a 3D lattice. We call this framework as "LUTI-MLP: LUT Interpolation MLP" that provides a way to train end-to-end tabulated MLP coupled to a LUT in a specific manner without the need for any approximation at test time. LUTI-MLP also provides significant speedup for Jacobian computation of the embedding function wrt global pose coordinate on Lie algebra $\mathfrak{se}(3)$ at test time, which could be used for point-set registration problems. After extensive architectural analysis using ModelNet40 dataset, we confirmed that our LUTI-MLP even with a small-sized table ($8 imes 8 imes 8$) yields performance comparable to that of MLP while achieving significant speedup: $80 imes$ for embedding, $12 imes$ for approximate Jacobian, and $860 imes$ for canonical Jacobian.

研究の動機と目的

• 3次元点群処理パイプラインにおけるテスト時の点群特徴埋め込みを著しく高速化すること。
• se(3)におけるグローバルポーズに関する埋め込みのヤコビ行列を効率的に計算できること、登録タスクにおいて不可欠である。
• 計算コストの高い行列-ベクトル乗算を置き換えることで、高い精度を維持しつつ、表形式のMLPフレームワークを設計すること。
• 近似なしにエンドツーエンドで訓練し、補間を用いた正確な推論を保証すること。

提案手法

• LUTI-MLPは、標準的なMLPを用いて、離散的な3次元格子点での埋め込み基底関数を事前に計算し、それをルックアップテーブル（LUT）に格納する。
• テスト時、ネットワークは8つの近隣格子点を用いた三線形補間により、連続的な3次元点の埋め込みを計算する。
• 埋め込みは重み付き和として表現される：$\mathbf{z}_i = \sum w_i^{(j)} \bar{\mathbf{z}}_i^{(j)}$、ここで重み$w_i^{(j)}$は入力点が格子点からどれほど近いかに依存する。
• この手法により、$\mathbb{R}^3$および$\mathfrak{se}(3)$に関する埋め込みのヤコビ行列を解析的かつ効率的に計算可能となり、登録における最適化にとって重要である。
• LUTはバックプロパゲーションを用いてエンドツーエンドで訓練され、学習時（MLPベース）と推論時（LUT補間）のネットワーク構造が非対称である。
• 近似誤差を回避するための新しい訓練戦略が導入され、LUTに基づく推論が元のMLPと正確かつ一貫して一致することを保証する。

実験結果

リサーチクエスチョン

• RQ1 ルックアップテーブルベースのMLPは、3次元点群分類において標準的なMLPと同等の性能を達成しつつ、推論時間を著しく短縮できるか？
• RQ2 LUTI-MLPフレームワークは、登録タスクに適した$\mathfrak{se}(3)$におけるグローバルポーズに関する埋め込みのヤコビ行列を効率的に解析的に計算できるか？
• RQ3 ルックアップテーブルのサイズ（例：$8\times8\times8$）が、特徴埋め込みにおける速度と精度のトレードオフに与える影響は何か？
• RQ4 近似なしにエンドツーエンドで訓練されたLUTI-MLPは、直接テーブル学習や単純なファインチューニングに比べて優れた性能を示すか？
• RQ5 LUTI-MLPは、階層的またはグラフベースの点群ネットワークに効果的に応用可能で、特徴学習の高速化に寄与するか？

主な発見

• $8\times8\times8$のテーブルを用いたLUTI-MLPは、ModelNet40で88.01%の精度を達成し、元のPointNetの87.03%をわずかに上回る。
• 標準的なMLPベースのPointNetと比較して、特徴埋め込みの推論速度が80倍向上した。
• $\mathfrak{se}(3)$に関するヤコビ行列計算は、近似ヤコビ行列で12倍、キャノニカルヤコビ行列で860倍高速化された。
• $D=64$を用いたLUTI-MLPが学習した埋め込み空間は、元のMLPと高く類似しており、滑らかで構造的な特徴マップを示す。
• 直接テーブル学習（LUTI-Direct）では、$D$が大きい場合、ほとんどすべてのテーブルエントリが更新されないことが示され、LUTI-MLPのような構造的な訓練戦略の必要性が示された。
• 標準的なPointNetモデルを用いた事前学習により、収束性と性能が向上し、特に$D$が小さい場合に顕著であった。