[論文レビュー] SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation

Chenfeng Xu, BoRui Wu+5 more|arXiv (Cornell University)|Apr 3, 2020

Remote Sensing and LiDAR Applications参考文献 62被引用数 28

ひとこと要約

本稿では、入力に依存する注目マップに基づいてLiDAR画像内の異なる空間的位置に畳み込みフィルタを適応させる、一般性と効率性に優れたフレームワーク、Spatially-Adaptive Convolution (SAC) を提案する。アダプティブなフィルタを学習可能な注目マップと固定された重みに分解することにより、コンテンツに応じた空間可変な特徴抽出が可能となり、SemanticKITTIにおける点群セグメンテーション精度が顕著に向上し、速度コストは最小限に抑えられる。mIoUは46.3%に達し、先行手法より3.7%の向上を達成した。

ABSTRACT

LiDAR point-cloud segmentation is an important problem for many applications. For large-scale point cloud segmentation, the extit{de facto} method is to project a 3D point cloud to get a 2D LiDAR image and use convolutions to process it. Despite the similarity between regular RGB and LiDAR images, we discover that the feature distribution of LiDAR images changes drastically at different image locations. Using standard convolutions to process such LiDAR images is problematic, as convolution filters pick up local features that are only active in specific regions in the image. As a result, the capacity of the network is under-utilized and the segmentation performance decreases. To fix this, we propose Spatially-Adaptive Convolution (SAC) to adopt different filters for different locations according to the input image. SAC can be computed efficiently since it can be implemented as a series of element-wise multiplications, im2col, and standard convolution. It is a general framework such that several previous methods can be seen as special cases of SAC. Using SAC, we build SqueezeSegV3 for LiDAR point-cloud segmentation and outperform all previous published methods by at least 3.7% mIoU on the SemanticKITTI benchmark with comparable inference speed.

研究の動機と目的

• 球面投影に起因する空間的特徴分布の変化が顕著なLiDAR画像を処理する際、標準畳み込みではモデル容量が十分に活用されていない問題に対処すること。
• 入力コンテンツに応じて空間的位置に応じてフィルタを動的に適応させる、効率的で汎用性の高い畳み込み機構を設計すること。
• 推論速度を犠牲にせずに、SemanticKITTIのような大規模なLiDARベンチマークにおける点群セグメンテーション精度を向上させること。
• 空間的適応性がLiDAR画像処理において極めて重要であり、SE や CBAM などのグローバルプーリングベースの手法を上回ることを示すこと。

提案手法

• SACは、アダプティブ畳み込みを学習可能な注目マップと固定された畳み込み重みの積に分解し、空間可変なフィルタリングを可能にする。
• 注目マップは、入力特徴マップに1層の畳み込みを適用することで計算され、カーネル重みの各位置ごとのスケーリング要因を出力する。
• 要素ごとの乗算、im2col、標準畳み込みといった標準的で最適化された演算のみを用いて実装されており、計算効率が保証されている。
• SACは先行手法を一般化する：SE、CBAM、PAC、CAM は、特定の注目マップ設定下でのSACの特殊ケースとして示されている。
• 軽量バックボーンを用い、ダウンサンプリングの削除やマルチレイヤ損失の導入といったアーキテクチャ的改善を加えたSqueezeSegV3に統合されている。
• 注目マップ畳み込みに小規模なカーネルサイズ（例：7×7）を用いることで、計算オーバーヘッドを最小限に抑えつつ効率的な推論を維持している。

実験結果

リサーチクエスチョン

• RQ1 RGB画像と類似しているにもかかわらず、なぜ標準畳み込みはLiDAR画像では性能を発揮しないのか？
• RQ2 LiDAR画像の特徴分布の空間的変動に応じて、畳み込みフィルタをどのように適応可能にすることができるか？
• RQ3 既存の注目ベース畳み込みモジュールを統合的かつ改善する、一般性と効率性に優れたフレームワークを設計できるか？
• RQ4 注目メカニズムを越えた、大規模な点群タスクにおけるセグメンテーション精度をさらに向上させるアーキテクチャ的変更は何か？

主な発見

• SqueezeSegV3にSAC-ISKを適用した結果、SemanticKITTIベンチマークで46.3%のmIoUを達成し、すべての先行発表手法を最低3.7ポイント以上上回った。
• 空間的およびカーネルワイドの注目を組み合わせたSAC-ISKバージョンが最高の性能を示し、多次元適応性の重要性を裏付けた。
• 注目マップ畳み込みに7×7のカーネルを使用した場合が最も高い精度を示し、より小さい（1×1、3×3）やより大きな（5×5）設定を上回った。
• 最後の2つのダウンサンプリング層を削除することで、mIoUが3.9ポイント向上した。これは、特徴の解像度がLiDARセグメンテーションにおいて極めて重要であることを示している。
• マルチレイヤ損失を追加することでmIoUが1.5ポイント向上し、SAC-ISKと組み合わせるとさらに2.3ポイントの向上が得られた。
• 提案されたSACフレームワークは既存手法を一般化する：SE、CBAM、PAC、CAMはすべて特殊ケースであり、SACのバリエーションは一貫してそれらを上回った。