[論文レビュー] Parameter is Not All You Need: Starting from Non-Parametric Networks for 3D Point Cloud Analysis

Renrui Zhang, Liuhui Wang+5 more|arXiv (Cornell University)|Mar 14, 2023

3D Shape Modeling and Analysis被引用数 32

ひとこと要約

Point-NNを紹介した完全非パラメトリックな3D点群分析ネットワークであり、それを Parametric Network (Point-PN) と、トレーニングなしで既存モデルをブーストするプラグアンドプレイ推論モジュールで拡張。

ABSTRACT

We present a Non-parametric Network for 3D point cloud analysis, Point-NN, which consists of purely non-learnable components: farthest point sampling (FPS), k-nearest neighbors (k-NN), and pooling operations, with trigonometric functions. Surprisingly, it performs well on various 3D tasks, requiring no parameters or training, and even surpasses existing fully trained models. Starting from this basic non-parametric model, we propose two extensions. First, Point-NN can serve as a base architectural framework to construct Parametric Networks by simply inserting linear layers on top. Given the superior non-parametric foundation, the derived Point-PN exhibits a high performance-efficiency trade-off with only a few learnable parameters. Second, Point-NN can be regarded as a plug-and-play module for the already trained 3D models during inference. Point-NN captures the complementary geometric knowledge and enhances existing methods for different 3D benchmarks without re-training. We hope our work may cast a light on the community for understanding 3D point clouds with non-parametric methods. Code is available at https://github.com/ZrrSkywalker/Point-NN.

研究の動機と目的

• 3D点群処理のための非学習可能コンポーネント（FPS、k-NN、プーリング）を再検討し、独立した有効性を評価する。
• 学習なしで競争力のある結果を達成できる、三角法埋め込みを持つ非パラメトリックエンコーダの有効性を示す。
• 少数の学習可能パラメータで、非パラメトリックエンコーダが Point-PN へと発展する道を示す。
• 推論時に再訓練せずに既存の3Dモデルを強化するプラグアンドプレイモジュールを提案する。

提案手法

• 非パラメトリック部品（FPS、k-NN、プーリング、三角形PosE埋め込み）を用いて Point-NN を構築する。
• 非パラメトリックエンコーダを使用してグローバル特徴を生成し、メモリベースの分類のための点メモリバンクを作成する。
• Learnable parametersなしで局所幾何を明らかにするため、三角関数 PosE によって生の点をエンコードする。
• 4 段階にわたる局所幾何の集約を、連結、PosE に基づく重み付け、Max/Avg プーリングを用いて行う。
• 訓練特徴(F_mem)とラベル(T_mem)をキャッシュして点 memory バンクを構築し、コサイン類似度とラベル統合によってテストサンプルを分類する。
• Point-NN を Point-PN に拡張するには線形層を挿入して、競争力のある精度と少数パラメータを持つパラメトリックネットワークを作る。
• 推論時に Point-NN の予測と既存のモデルを融合するプラグアンドプレイモジュールを提供し、再訓練なしで精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 訓練なしで FPS、k-NN、プーリング、三角埋め込みといった純粋な非パラメトリックコンポーネントだけで、3D点群の性能を高く保てるか？
• RQ2 学習可能な層を少しだけ持つ Point-PN の形で非パラメトリックエンコード基盤のフレームワークはどこまで行けるか？
• RQ3 Point-NN は推論時に再訓練なしで既存の訓練済み3Dモデルを改善するプラグアンドプレイモジュールになり得るか？
• RQ4 記憶バンクベースの類似度駆動の分類が、分類・セグメンテーション・検出のような3Dタスクに対してどの程度の利点をもたらすか？

主な発見

• Point-NN は訓練なしで形状分類、部品セグメンテーション、3D物体検出のパフォーマンスを比較的良好に達成し、特定のベンチマークで訓練済みモデルを上回る。
• 少数ショット分類では、Point-NN は競合する訓練済みモデルを20%以上の精度で大きく上回る。
• Point-PN (Point-NN + 線形層) は、わずか 0.8M パラメータで競争力のある精度を達成（例：ModelNet40 で 0.8M、93.8%）。
• Point-NN をプラグアンドプレイモジュールとして使用すると、再訓練なしで既存モデルの分類精度を最大約2%、検出では最大11% AR を改善。
• 三角形埋め込み（PosE）は、学習可能な演算子なしで高周波の3D幾何を捉え、相対位置付けを効果的に可能にする。
• コサイン類似度を用いるメモリバンクは強力な識別力とテストサンプルの適応的ラベリングを提供する。