[論文レビュー] PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

Mingyang Jiang, Yiran Wu+3 more|arXiv (Cornell University)|Jul 2, 2018

3D Shape Modeling and Analysis参考文献 29被引用数 341

ひとこと要約

PointSIFT は、点群Netベースのアーキテクチャに方位エンコーディングユニットとマルチスケール特徴表現を導入し、ScanNetとS3DISのベンチマークで3Dセマンティックセグメンテーション精度を向上させる。

ABSTRACT

Recently, 3D understanding research sheds light on extracting features from point cloud directly, which requires effective shape pattern description of point clouds. Inspired by the outstanding 2D shape descriptor SIFT, we design a module called PointSIFT that encodes information of different orientations and is adaptive to scale of shape. Specifically, an orientation-encoding unit is designed to describe eight crucial orientations, and multi-scale representation is achieved by stacking several orientation-encoding units. PointSIFT module can be integrated into various PointNet-based architecture to improve the representation ability. Extensive experiments show our PointSIFT-based framework outperforms state-of-the-art method on standard benchmark datasets. The code and trained model will be published accompanied by this paper.

研究の動機と目的

• SIFTに着想を得た堅牢な局所特徴量で、直接的な3D点群理解を動機づける。
• 8方向にわたる方位情報をエンコードするPointSIFTモジュールを提案する。
• 方位エンコーディングユニットを積み重ねてマルチスケール表現を実現し、スケール認識を獲得する。
• PointSIFTを組み込み、PointNet++ベースのエンコーダ-デコーダフレームワークでセグメンテーション性能を向上させる。

提案手法

• 8近傍探索（S8N）と3段階の方位エンコーディング畳込みを通じて、8つの空間方位に沿って特徴を集約するOrientation-Encoding（OE）ユニットを導入する。
• 複数のOEユニットを積み重ねて、スケール認識機能融合のためのショートカット接続を備えたマルチスケール PointSIFTモジュールを作成する。
• PointNet++風のエンコード-デコード構造において、SA（set abstraction）層とFP（feature propagation）層の間にPointSIFTモジュールを埋め込む。
• FPショートカットを用いて対応するSAとFP層を接続し、低レベル情報を保持し収束を速める。
• 生の点群上でエンドツーエンドに訓練し、初期特徴埋め込みにはMLPを用い、PointSIFTを挟みつつSAでダウンサンプリング、FPでアップサンプリングを行う。
• S3DISとScanNetのセマンティックセグメンテーション benchmarksで最先端ベースラインより改善を実証する。

実験結果

リサーチクエスチョン

• RQ1 SIFTに着想を得た方位エンコードデスクリプタをPointNetベースのアーキテクチャに組み込むと、3D点群のセグメンテーションを改善できるか？
• RQ2 マルチスケールで方位認識を持つデスクリプタ学習は、3Dデータのオブジェクトやシーンのスケールの変動に対する頑健性を高めるか？
• RQ3 FPショートカットとPointSIFTモジュールは、標準のPointNet++パイプラインと比べて収束を速め、より高いセグメンテーション精度につながるか？
• RQ4 標準的な3Dセマンティックセグメンテーションベンチマーク（ScanNet、S3DIS）におけるPointSIFTの性能は、最先端手法と比較してどうか？

主な発見

• PointSIFTはScanNetおよびS3DISのベンチマークで最先端手法を上回り、ScanNetで相対的にmean IoUが8.4%、S3DISで12%の改善を含む。
• OEユニットは8つの方位を効果的にエンコードし、積み重ねるとマルチスケールの局所デスクリプタを提供し、セグメンテーション性能を向上させる。
• SAとFP層の間にPointSIFTモジュールをFPショートカットとともに挿入することで収束が速まり、低レベル情報を保持し、全体的な精度を向上させる。
• PointNet++などのベースラインと比較して、PointSIFT強化ネットワークはScanNetでの1体積あたり精度が高く（86.2%の精度、41.5のIoU平均）、S3DISでは総合精度と平均IoUが高く（それぞれ88.72%と70.23%） 。
• toy-scale-awareness実験は、アクティベーションのおおよそ89%が入力形状スケールと一致することを示し、モデルがスケール認識表現を学習していることを示唆する。