[論文レビュー] Pyramid Point: A Multi-Level Focusing Network for Revisiting Feature Layers

Nina Varney, Vijayan K. Asari+1 more|arXiv (Cornell University)|Nov 17, 2020

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、3次元点群のセマンティックセグメンテーションのためのマルチレベルフォーカスングネットワーク「Pyramid Point」を提案する。このネットワークは、エンコーダーとデコーダーの全層にわたる特徴マップの統合を可能にする密度的なピラミッド構造を採用し、文脈的理解を向上させるとともにノイズを低減する。また、空間的およびチャネル注意力を備えた「焦点化されたカーネルポイント畳み込み（FKP Conv）」を導入することで、特徴の質を向上させ、DALESおよびParis-Lille 3Dで最先端の性能を達成し、Semantic3Dでも競争力ある結果を示した。

ABSTRACT

We present a method to learn a diverse group of object categories from an unordered point set. We propose our Pyramid Point network, which uses a dense pyramid structure instead of the traditional 'U' shape, typically seen in semantic segmentation networks. This pyramid structure gives a second look, allowing the network to revisit different layers simultaneously, increasing the contextual information by creating additional layers with less noise. We introduce a Focused Kernel Point convolution (FKP Conv), which expands on the traditional point convolutions by adding an attention mechanism to the kernel outputs. This FKP Conv increases our feature quality and allows us to weigh the kernel outputs dynamically. These FKP Convs are the central part of our Recurrent FKP Bottleneck block, which makes up the backbone of our encoder. With this distinct network, we demonstrate competitive performance on three benchmark data sets. We also perform an ablation study to show the positive effects of each element in our FKP Conv.

研究の動機と目的

• U-Netアーキテクチャの3次元点群セグメンテーションへの応用における限界、特にマックスプーリングやサブサンプリングに起因する解像度の低下による細部の取り扱いの悪さを是正すること。
• 非構造的かつスパースな3次元点群における特徴表現を向上させることを目的とし、エンコーダーとデコーダーの全層にわたるマルチレベルの特徴統合を可能にすること。
• カーネルポイント畳み込みを注意力メカニズムで強化することで、特徴出力の動的重み付けを可能とし、特徴の質と耐性を向上させること。
• 航空機搭載、モバイル、地上型のLiDARデータセットを網羅的に評価することで、点群の特性（解像度、密度、オクルージョンパターンなど）の違いに対しても一般化性と耐性を示すことを目的とする。

提案手法

• Pyramid Pointネットワークは、標準的なU-Netアーキテクチャの代わりに密度的なピラミッド構造を採用し、同じサイズのエンコーダー・デコーダー層間だけでなく、異なるレベル間の特徴統合も可能にしている。
• 本ネットワークのコアとなるのは、再帰的FKPボトルネックブロックであり、空間的およびチャネル注意力を備えた「焦点化されたカーネルポイント畳み込み（FKP Conv）」を用いて、カーネル出力に動的重み付けを施している。
• FKP Convは、従来のカーネルポイント畳み込みを拡張したもので、カーネル応答に対して最大値および平均値プーリングを適用し、それらを学習可能な注意力メカニズムで統合することで、特徴マップを精緻化する。
• エンコーダーおよびデコーダーの全層からの特徴マップを複数のレベルでアップサンプリングし、連結することで、多様な受容 field を持つ、より豊かでノイズの少ない表現を得ている。
• ネットワークは、デコーディングパスの初期段階で低レベル特徴を再訪問するマルチスケール特徴集約戦略を採用しており、深層のデコーダースタックに起因するノイズ蓄積を低減している。
• すべてのレベルにスカイプ接続を備えたエンドツーエンド学習を可能としており、効果的な勾配伝播と細粒度のオブジェクトディテールの学習を促進している。

Figure 1 : Example of the fundamental concept of our Pyramid Point network. The final output is based not only on an upsampling from the previous layers; but also on features from all network layers. By upsampling from each layer and then concatenating the features, we can get a richer combination w

実験結果

リサーチクエスチョン

• RQ1 標準的なU-Netアーキテクチャと比較して、マルチレベル特徴統合を可能にする密度的なピラミッド構造が、3次元点群のセマンティックセグメンテーション性能に改善をもたらすか？
• RQ2 FKP Convによってカーネルポイント畳み込みに空間的およびチャネル注意力を組み込むことで、特徴の質およびセグメンテーション精度に顕著な向上が見られるか？
• RQ3 FKPボトルネックブロック内の再帰的隠れ層の数が、さまざまなLiDARデータセットにおけるモデル性能および一般化性能に与える影響はいかほどか？
• RQ4 FKP Convにおけるプーリング戦略（最大値、平均値、両方）の選択が、最終的なセグメンテーションmIoUに与える影響はどの程度か？
• RQ5 提案されたネットワークは、センサータイプ、解像度、オクルージョンパターンが異なる多様な3次元点群データセットにおいて、競争的または優れた性能を達成できるか？

主な発見

• DALESデータセットでは、発表済みのすべての手法と比較して最高のmIoUを達成し、RandLA-Net や KPConv などのベースラインを上回った。
• Paris-Lille 3Dデータセットでは、90.2%というmIoUを達成し、先進的な注意力機構を用いた他のすべての発表済みモデルを上回った。
• リダクション8のSemantic3Dベンチマークでは、mIoUが83.2%に達し、全体で2位となった。1位のRandLA-Netと0.1%の差にとどまった。
• アブレーションスタディの結果、標準的なカーネルポイント畳み込みに注意力を追加することで、mIoUが4.7ポイント向上した。
• 再帰的FKPボトルネックにおける最適な隠れ層数は3層であり、4層に増加させると性能が低下した。これは表現能力と過学習のトレードオフを示している。
• FKP Convの注意力メカニズムで最大値および平均値プーリングを併用した場合が最良の性能（mIoU 90.2）を示し、単一プーリング戦略（最大値：+3.1ポイント、平均値：+1.9ポイント）を上回った。

Figure 2 : Example of the architecture of our Pyramid Point network. We construct the architecture in an inverse dense pyramid shape instead of the typical U shape. At the third layer, features are both downsampled and upsampled, and similarly, dimensioned layers are concatenated together in the fin