[論文レビュー] Semantic Flow for Fast and Accurate Scene Parsing

Xiangtai Li, Ansheng You+5 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 73被引用数 16

ひとこと要約

本稿では、シーン解析における高解像度特徴マップへの高レベルの意味的特徴の効率的伝達を実現するため、Semantic FlowとFlow Alignment Module (FAM)を提案する。実時間推論を達成しつつ最先端の精度を達成している。ResNet-18を用いて、26 FPSでCityscapesで80.4%のmIoUを達成し、従来の実時間モデルを上回っている一方で、計算コストは低く抑えられている。

ABSTRACT

In this paper, we focus on designing effective method for fast and accurate scene parsing. A common practice to improve the performance is to attain high resolution feature maps with strong semantic representation. Two strategies are widely used -- atrous convolutions and feature pyramid fusion, are either computation intensive or ineffective. Inspired by the Optical Flow for motion alignment between adjacent video frames, we propose a Flow Alignment Module (FAM) to learn Semantic Flow between feature maps of adjacent levels, and broadcast high-level features to high resolution features effectively and efficiently. Furthermore, integrating our module to a common feature pyramid structure exhibits superior performance over other real-time methods even on light-weight backbone networks, such as ResNet-18. Extensive experiments are conducted on several challenging datasets, including Cityscapes, PASCAL Context, ADE20K and CamVid. Especially, our network is the first to achieve 80.4\% mIoU on Cityscapes with a frame rate of 26 FPS. The code is available at \url{https://github.com/lxtGH/SFSegNets}.

研究の動機と目的

• シーン解析における高解像度の空間的詳細と強力な意味的表現の間のトレードオフを解消すること。
• リアルタイムの意味的セグメンテーションにおける精度を向上させつつ、計算コストを低減すること。
• 高価な計算を伴わずに、深層から浅層への意味的特徴の効果的伝達を可能にすること。
• ResNet-18のような軽量バックボーンを強化する即挿し可能なモジュールを設計すること。
• 複数のベンチマークデータセットで優れたスピード-精度トレードオフを達成すること。

提案手法

• 異なる解像度の特徴マップ間のピクセル単位の対応関係をモデル化する微分可能フローフィールドとしてのSemantic Flowを提案する。
• 学習されたSemantic Flowを用いて、高レベル特徴を低解像度特徴マップにワープするためのFlow Alignment Module (FAM)を導入する。
• 微分可能ワープを伴うグリッドサンプリングを用いて、特徴の整合を効率的に実現し、エンドツーエンドの学習を可能にする。
• ラテラル接続を備えた特徴ピラミッドネットワーク（FPNに類似）にFAMを統合し、マルチスケール特徴の統合を実現する。
• 水平反転を用いたマルチスケール推論により、テストセットにおける頑健性とmIoUの向上を図る。
• 単一GPU環境における推論速度最適化のため、TensorRTとCUDA最適化オペレータを活用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なフローに基づくメカニズムは、計算コストを増加させることなく、深層から浅層への意味的知識伝達を効果的に行えるか？
• RQ2 FAMは、ResNet-18のような軽量バックボーンにおいて、リアルタイム推論速度を維持したまま性能を向上させられるか？
• RQ3 Semantic Flowは、従来のアトラス畳み込みや特徴ピラミッド統合よりも、精度と効率の両面で優れているか？
• RQ4 提案手法は、Cityscapes、PASCAL Context、ADE20K、CamVidといった多様なデータセットに一般化可能か？
• RQ5 提案手法のスピード-精度トレードオフは、既存の実時間シーン解析モデルを上回っているか？

主な発見

• ResNet-18を用いたSFNetは、26 FPSでCityscapesテストセットで80.4%のmIoUを達成し、実時間モデルとして新たなSOTAを樹立した。
• DF2バックボーンを用いる場合、SFNetは61 FPSで77.8%のmIoU、121 FPSで74.5%のmIoUを達成し、優れたスピード-精度バランスを示した。
• ResNet-101を用いることで、SFNetは81.8%のmIoUを達成し、推論計算量が33%しかないDANet（81.5%）を上回った。
• FAMは、ベースライン比でCityscapesバリデーションセットでmIoUを2.2%向上させ、全カテゴリで一貫した向上を示した。
• ADE20KおよびPASCAL Contextでも、SFNetは最小限の計算コスト増加で競争力のあるmIoUを達成し、広範な適用可能性を示した。
• Cityscapesにおいて、PSPNet、DenseASPP、BFPNetといった最先端モデルと比較して、精度とGFLOPs効率の両面で優れた性能を発揮した。