[論文レビュー] Deformable Filter Convolution for Point Cloud Reasoning

Yuwen Xiong, Mengye Ren+3 more|arXiv (Cornell University)|Jul 30, 2019

3D Shape Modeling and Analysis参考文献 44被引用数 16

ひとこと要約

本稿では、固定ボクセルグリッドに依存するのではなく、ポイントクラウドの幾何構造に合わせてフィルターシェイプを適応させる学習可能な3次元畳み込み層「Deformable Filter Convolution」を提案する。局所的なポイントクラウド構造に合わせてフィルタを変形させ、入力および出力のストリームを通じてボクセル化バックボーンに統合することで、LiDARセマンティックセグメンテーションで最先端の性能を達成し、特にレアクラスやスパースクラス（例：自転車乗り）において顕著な性能向上を実現する。

ABSTRACT

Point clouds are the native output of many real-world 3D sensors. To borrow the success of 2D convolutional network architectures, a majority of popular 3D perception models voxelize the points, which can result in a loss of local geometric details that cannot be recovered. In this paper, we propose a novel learnable convolution layer for processing 3D point cloud data directly. Instead of discretizing points into fixed voxels, we deform our learnable 3D filters to match with the point cloud shape. We propose to combine voxelized backbone networks with our deformable filter layer at 1) the network input stream and 2) the output prediction layers to enhance point level reasoning. We obtain state-of-the-art results on LiDAR semantic segmentation and producing a significant gain in performance on LiDAR object detection.

研究の動機と目的

• 連続的なポイントクラウドを固定グリッドに離散化することによる局所的幾何的詳細の損失を是正すること。
• 空間的なインダクティブバイアスを欠き、スパースまたは非一様なポイントクラウドで困難をきたす既存のポイントベースネットワークの限界を克服すること。
• ボクセルベース畳み込みのインダクティブバイアスと直接的なポイント処理の幾何的柔軟性を統合した学習可能な畳み込み層を開発すること。
• 入力および出力段階でポイントワイド特徴をボクセル化バックボーンネットワークに統合することで、3次元認識におけるポイントレベルの推論を向上させること。
• 完全にボクセル化に依存するのではなく、大規模なLiDARベンチマークで最先端の性能を達成すること。

提案手法

• 固定ボクセルグリッドではなく、局所的なポイントクラウドの幾何構造に合わせてカーネル形状を学習的に変形させる学習可能な3次元フィルタ畳み込み層を提案する。
• 局所的なポイントクラウド構造に基づいてフィルタの位置と形状を調整する学習可能な変形フィールドを用い、空間的に連続的かつ適応的な特徴集約を可能にする。
• 入力ストリーム（特徴表現の強化）とリカージブ出力ストリーム（局所予測の平滑化）の2パスを通じて、ボクセル化ネットワークに変形フィルタ層を統合する。
• 各フィルタの変形オフセットを予測するためのマルチレイヤーパーセプトロン（MLP）を採用し、フィルタが局所的なポイント密度や空間的配置に動的に適応可能にする。
• 標準のポイントワイド全結合層を本手法の新しい層に置き換えることで、PointNetおよびPointNet++アーキテクチャの両方で変形畳み込みを適用し、ネットワークの深さと幅を維持する。
• KITTIおよびModelNet40ベンチマークでSGDとモーメンタムを用いて学習し、標準的なデータオーグメンテーションおよび学習率スケジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 局所的なポイントクラウドの幾何構造に合わせてフィルタ形状を変形させる学習可能な3次元畳み込み層は、固定ボクセル化を超えて3次元認識性能を向上させることができるか？
• RQ2 ボクセル化バックボーンネットワークにポイントワイド特徴を変形フィルタを通じて統合することで、セマンティックセグメンテーションおよびオブジェクト検出性能が向上するか？
• RQ3 スパースまたは非一様なポイントクラウドにおいて、既存の学習可能な連続畳み込み手法と比較して、本手法は頑健性および性能面で優れているか？
• RQ4 本手法は、完全なエンドツーエンドのポイントベースネットワークに依存せず、TOR4Dのような大規模なLiDARベンチマークで最先端の結果を達成できるか？
• RQ5 学習されたフィルタ形状はどのようなものであり、複雑な幾何的パターンを捉える際、線形または固定フィルタとはどのように異なるか？

主な発見

• 本手法は、大規模なLiDARセマンティックセグメンテーションベンチマークTOR4Dで最先端の性能を達成し、ボクセルオンリーおよび従来の統合ベース手法を上回った。
• KITTIバリデーションセットでは、ModelNet40分類タスクにおいてPointNetでmAPが1.8%向上、PointNet++で1.0%向上した。
• 変形フィルタ層は、データ不足の影響を受けるレアクラスやスパースクラス（例：自転車乗り）において顕著な性能向上を示した。PCCのような従来手法は、このクラスで負の影響を及ぼす傾向にあったが、本手法はそれを克服した。
• 可視化結果から、学習されたフィルタは非線形的で表現力に富んでおり、剛体的または対称的な形状に制約されず、複雑な3次元形状に適応していることが示された。
• mAPの向上は、車両で1.8%、歩行者で2.1%、自転車乗りで3.5%と顕著であり、HDNetベースラインを上回った。
• アブレーションスタディの結果、入力ストリームと出力ストリームの両方の統合が性能向上に寄与しており、特に出力ストリームが局所的予測の精緻化に顕著に効果的であることが確認された。