[論文レビュー] DensePoint: Learning Densely Contextual Representation for Efficient Point Cloud Processing

Yongcheng Liu, Bin Fan+4 more|arXiv (Cornell University)|Sep 9, 2019

3D Shape Modeling and Analysis参考文献 60被引用数 32

ひとこと要約

DensePoint は置換不変の一般化畳み込み（PConv）と密結合アーキテクチャを提案し、不規則な点群から直接多階層・多尺度の文脈表現を学習する。分類、検索、セグメンテーション、法線推定の4つのタスクで最先端の結果を達成。

ABSTRACT

Point cloud processing is very challenging, as the diverse shapes formed by irregular points are often indistinguishable. A thorough grasp of the elusive shape requires sufficiently contextual semantic information, yet few works devote to this. Here we propose DensePoint, a general architecture to learn densely contextual representation for point cloud processing. Technically, it extends regular grid CNN to irregular point configuration by generalizing a convolution operator, which holds the permutation invariance of points, and achieves efficient inductive learning of local patterns. Architecturally, it finds inspiration from dense connection mode, to repeatedly aggregate multi-level and multi-scale semantics in a deep hierarchy. As a result, densely contextual information along with rich semantics, can be acquired by DensePoint in an organic manner, making it highly effective. Extensive experiments on challenging benchmarks across four tasks, as well as thorough model analysis, verify DensePoint achieves the state of the arts.

研究の動機と目的

• irregular points によって形成される複雑な 3D 形状を認識するのに十分な文脈的意味情報が必要であることを動機づける。
• Permutation invariant を保ちつつ、 irregular point clouds 上で局所的な結合性と重み共有をサポートする一般化畳み込み演算子を開発する。
• DensePoint という dense-connection アーキテクチャを提案し、複数レベル・多スケールの文脈を集約してより豊かな表現を得る。
• 効率を保ちつつ狭いチャネル設計を維持しつつ、ePConv（グループ化フィルタ）で表現力を高める。
• 形状分類、検索、パーツセグメンテーション、法線推定で最先端の性能を示す。

提案手法

• 点群の一般化畳み込みを f_N(x) = ρ({φ(f_xn) for x_n in N(x)}) と定義する。ここで φ は共有変換、ρ は対称な集約。
• 学習可能なプーリングを行い局所近傍で PConv を適用して点を間引く PPool を定義する。
• DensePoint アーキテクチャを dense connections に着想を得て採用し、各層がすべての前の層から入力を受け取り、出力をすべての後続層へ渡すことで、密に文脈的な表現を実現する。
• f をグループ化し、出力チャネルを狭く保ちながら、グループ化 φ とそれらを統合する ψ を用いてグループ出力を統合することで、効果的容量を拡張する ePConv（enhanced PConv）を導入する。
• 分類のために 3 つの PPools と複数の DensePoints からなる stage ベースのネットワークを使用し、 per-point タスクには 4 つの DensePoints と特徴伝搬を用いる。
• 設計オプションの実験：狭さの指標 k、集約関数（最大プーリングを推奨）、Ng のグループ数、DensePoint を適用するステージ。

実験結果

リサーチクエスチョン

• RQ1 点群の畳み込み演算は置換不変かつ局所パターン学習を効率的に行えるのか。
• RQ2 密に接続された多層文脈学習フレームワークは、従来の階層的点群ネットワークより形状理解を改善するのか。
• RQ3 狭いチャネル幅、グループ化フィルタリング、ステージ配置といった設計選択は、タスク全体の性能と効率にどのように影響するのか。
• RQ4 DensePoint は従来法と比べて分類、検索、セグメンテーション、法線推定でどの程度の性能向上を達成できるのか。

主な発見

• DensePoint は4つのタスクで最先端の性能を達成：分類、形状検索、パーツセグメンテーション、法線推定。
• ModelNet40 の分類で 1k ポイント時、DensePoint は 93.2% の精度に達し、PointNet++ および他の点ベース手法を上回る。
• DensePoint は 1k ポイントを用いた ModelNet40 での検索結果を大幅に改善し、mAP が 88.5% に達する。
• ShapeNet のパーツセグメンテーションで、DensePoint はクラス IoU の平均 84.2%、インスタンス IoU の平均 86.4% を達成し、先行の点ベース手法を上回る。
• ModelNet40 の法線推定では、DensePoint は誤差 0.149（コサイン損失）を達成し、従来手法を上回り PointNet++（0.29） などに顕著なゲインを示す。
• アブレーション研究は、密な文脈学習、フィルタ grouping を用いた ePConv、最大プーリング集約戦略の有効性を確認し、DensePoint がベースラインおよび連結変種より一貫して優れていることを示した。