[論文レビュー] BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation

Changqian Yu, Jingbo Wang+4 more|arXiv (Cornell University)|Aug 2, 2018

Advanced Neural Network Applications参考文献 54被引用数 126

ひとこと要約

BiSeNet はデュアルパス アーキテクチャ（ Spatial Path と Context Path ）と Feature Fusion Module および Attention Refinement Module を導入し、リアルタイムなセマンティックセグメンテーションを高精度で実現します。Cityscapes テストで 68.4% Mean IOU を Titan XP で 105 FPS の速度で報告しています。

ABSTRACT

Semantic segmentation requires both rich spatial information and sizeable receptive field. However, modern approaches usually compromise spatial resolution to achieve real-time inference speed, which leads to poor performance. In this paper, we address this dilemma with a novel Bilateral Segmentation Network (BiSeNet). We first design a Spatial Path with a small stride to preserve the spatial information and generate high-resolution features. Meanwhile, a Context Path with a fast downsampling strategy is employed to obtain sufficient receptive field. On top of the two paths, we introduce a new Feature Fusion Module to combine features efficiently. The proposed architecture makes a right balance between the speed and segmentation performance on Cityscapes, CamVid, and COCO-Stuff datasets. Specifically, for a 2048x1024 input, we achieve 68.4% Mean IOU on the Cityscapes test dataset with speed of 105 FPS on one NVIDIA Titan XP card, which is significantly faster than the existing methods with comparable performance.

研究の動機と目的

• 空間的ディテールや受容野を犠牲にせず、リアルタイムのセマンティックセグメンテーションを動機づける。
• Spatial PathとContext Pathを組み合わせたBilateral Segmentation Network (BiSeNet) を提案し、空間的ディテールを保持しつつ受容野を拡大する。
• 特徴を効率的に融合・精錬するためのモジュール（Feature Fusion Module および Attention Refinement Module）を開発する。
• Cityscapes、CamVid、COCO-Stuff 上で BiSeNet を評価し、速度と精度のバランスを示す。
• 各コンポーネントの性能への影響を理解するためのアブレーション研究を提供する。

提案手法

• 空間解像度情報を保持するために Spatial Path（3 つの 2-stride 畳み込み）を導入する（1/8 スケール）。
• 軽量なバックボーン（Xception39）を用いた Context Path を導入し、最後の2つの段階の U 字形の融合により大きな受容野を提供する。
• Context Path の末尾にグローバル平均プーリング分岐を追加し、グローバルな文脈で受容野を拡張する。
• Feature Fusion Module (FFM) を提案し、SPとCPの特徴を結合、BatchNorm を適用、グローバルプーリングを行い、SENet様のゲーティングで特徴を再重み付けする。
• Attention Refinement Module (ARM) を提案し、グローバル文脈を用いて注意ベクトルを計算し、アップサンプリングせずに CP の特徴を精錬する。
• 最終出力に主損失を、CP段階には補助損失を組み合わせたジョイント損失で訓練し、バランスパラメータ alpha = 1。
• CP 出力に対して補助的な深層監督方式を使用して訓練を誘導する。

実験結果

リサーチクエスチョン

• RQ1 空間的ディテールを保持しつつ大きな受容野を提供するデュアルパスアーキテクチャは、重大な精度低下なくリアルタイムなセマンティックセグメンテーションを達成できるか？
• RQ2 専用の融合・精錬モジュール（FFMとARM）は、標準の単一パスや U 形設計と比較して速度と精度のトレードオフを改善するか？
• RQ3 グローバル平均プーリングと補助損失が、標準ベンチマークで BiSeNet の最終性能にどのように寄与するか？

主な発見

• BiSeNet は Cityscapes で強力なリアルタイム性能を発揮し、テストセットで 68.4% Mean IOU を高 FPS で達成（2048x1024 入力に対して Titan XP で 105 FPS と報告）。
• Spatial Path 単独で平均 IOU を CP-オンリーベースラインより約 1.4 ポイント改善。
• CP+SP と FFM および GP（グローバルプーリング）を組み合わせると 68.42%、ARM 精錬を加えると Cityscapes の検証で 71.40% に達し、モジュール追加による漸進的な向上を示す。
• CP の末尾にグローバル平均プーリングを埋め込むと顕著な効果を提供（67.42% から 68.42% へ）。
• BiSeNet は CamVid および COCO-Stuff で競争力のある結果を示し、データセット間の一般化を強調する。
• 本手法は Cityscapes で妥当な精度と比較して、従来手法よりはるかに高い速度を維持する。