[論文レビュー] Efficient semantic image segmentation with superpixel pooling

Mathijs Schuurmans, Maxim Berman+1 more|arXiv (Cornell University)|Jun 7, 2018

Advanced Neural Network Applications参考文献 11被引用数 18

ひとこと要約

本論文では、セマンティックセグメンテーションのための深層ニューラルネットワークに空間的プライアを統合するスーパーピクセルプーリング層を提案する。標準的なプーリングに代わり、スーパーピクセルベースの特徴集約を実装している。GPUアクセラレートされたスーパーピクセルグループ化を活用することで、特にエッジが多く、細部が複雑な領域においても分類精度を向上させつつ、計算コストの増加を最小限に抑える。CityscapesおよびIBSRデータセットを用いたENetおよびVoxResNetアーキテクチャでの実験により、その有効性が実証された。

ABSTRACT

In this work, we evaluate the use of superpixel pooling layers in deep network architectures for semantic segmentation. Superpixel pooling is a flexible and efficient replacement for other pooling strategies that incorporates spatial prior information. We propose a simple and efficient GPU-implementation of the layer and explore several designs for the integration of the layer into existing network architectures. We provide experimental results on the IBSR and Cityscapes dataset, demonstrating that superpixel pooling can be leveraged to consistently increase network accuracy with minimal computational overhead. Source code is available at https://github.com/bermanmaxim/superpixPool

研究の動機と目的

• スーパーピクセルプーリングを通じて空間的プライア情報を統合することで、深層ニューラルネットワークにおけるセマンティックセグメンテーションの精度を向上させること。
• ピクセルレベルではなくスーパーピクセルレベルでの特徴グループ化により、計算複雑性を低減し、推論効率を向上させること。
• ENetやVoxResNetといった既存のアーキテクチャを用いて、2Dおよび3Dセグメンテーションタスクにおけるスーパーピクセルプーリングの有効性を評価すること。
• セグメンテーションネットワークにおけるスーパーピクセルベースのプーリングにおいて、情報のグループ化とエッジの保持のトレードオフを調査すること。
• 既存のCNNフレームワークに統合可能な実用的で効率的かつ再利用可能なGPU実装を提供すること。

提案手法

• スーパーピクセルプーリング層は、最大値プーリングや平均プーリングなどの還元関数を用いて、スーパーピクセルごとに特徴マップを集約する。
• 各ピクセルの特徴を対応するスーパーピクセルにマッピングすることで、1つのスーパーピクセルあたりのコンパクトな特徴表現を生成する。
• 前向きおよび逆向きの伝搬を効率的に行えるように、GPU最適化された実装が開発された。これにより、効率的な学習と推論が可能になる。
• 標準的なプーリング層を置き換えるか、並列のスーパーピクセルブランチを追加する2つの主な設計により、既存のネットワークに統合される。
• 実行時コストを最小限に抑えるために、事前処理段階でgSLICr（GPUアクセラレートされたSLIC）を用いてスーパーピクセルセグメンテーションを事前に計算する。
• ENetバージョンでは、並列のスーパーピクセルブランチを追加し、プールドされた特徴を全結合層で処理し、要素ごとの和算によりメインネットワークと統合する。

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルプーリングは、標準的なプーリングと比較して、分類精度と計算コストの点でどのように異なるか？
• RQ2 スーパーピクセルのサイズ（スーパーピクセル数）は、分類性能とエッジの保持にどのような影響を与えるか？
• RQ3 どのような状況でスーパーピクセルプーリングが最大の利点を発揮するか（例：細部、均一な領域、複雑なエッジ）？
• RQ4 ENetのようなリアルタイムセグメンテーションネットワークに、スーパーピクセルプーリングを効率的に統合できるか？ その場合、推論速度が低下しないか？
• RQ5 スーパーピクセルプーリングは、2Dおよび3Dセグメンテーションタスクにおいて、一般化性能とロバスト性を向上させるか？

主な発見

• ENetに追加した場合、Cityscapesテストセットにおける平均IoUが58.3%から61.3%に向上し、Titan X GPU上での推論時間は13msであった。
• エッジに敏感なカテゴリでは、交通標識（+8.3%）、信号機（+8.1%）、自転車乗り（+8.0%）の順に顕著な向上が見られた。
• IBSRデータセットにおいて、VoxResNetにスーパーピクセルプーリング層を追加した場合、計算コストの増加を最小限に抑えつつ、分類精度が向上した。
• ENetに並列のスーパーピクセルブランチを追加した結果、平均IoUが2.9%、クラス別IoUが2.4%向上し、推論時間はわずか2ms増加した。
• 可視化結果では、歩行者の足元などのエッジに沿った適合性が向上し、道路や歩道のような大規模な均一領域における誤分類アーチファクトが減少していた。
• スーパーピクセルプーリングの利点は、ENetのような単純なネットワークにおいて顕著であり、リアルタイムおよび軽量なセグメンテーション応用においてその価値が示された。