[論文レビュー] Global Aggregation then Local Distribution in Fully Convolutional Networks

Xiangtai Li, Li Zhang+4 more|arXiv (Cornell University)|Sep 16, 2019

Advanced Neural Network Applications参考文献 40被引用数 34

ひとこと要約

GALD は Global Aggregation と Local Distribution モジュールを組み合わせ、各位置に対してグローバル文脈を適応的に分配することで、複数のベンチマークで意味セマンティック分割、物体検出、インスタンス分割を改善します。

ABSTRACT

It has been widely proven that modelling long-range dependencies in fully convolutional networks (FCNs) via global aggregation modules is critical for complex scene understanding tasks such as semantic segmentation and object detection. However, global aggregation is often dominated by features of large patterns and tends to oversmooth regions that contain small patterns (e.g., boundaries and small objects). To resolve this problem, we propose to first use \emph{Global Aggregation} and then \emph{Local Distribution}, which is called GALD, where long-range dependencies are more confidently used inside large pattern regions and vice versa. The size of each pattern at each position is estimated in the network as a per-channel mask map. GALD is end-to-end trainable and can be easily plugged into existing FCNs with various global aggregation modules for a wide range of vision tasks, and consistently improves the performance of state-of-the-art object detection and instance segmentation approaches. In particular, GALD used in semantic segmentation achieves new state-of-the-art performance on Cityscapes test set with mIoU 83.3\%. Code is available at: \url{https://github.com/lxtGH/GALD-Net}

研究の動機と目的

• FCN におけるグローバル集約を使用する際の小さなパターンの過平滑化に対処することを動機づける。
• チャンネルごとのマスクマップを介してグローバル特徴を適応的に分配する GALD を提案する。
• さまざまなタスクにおける既存の GA モジュールとバックボーンとの互換性を GALD が示す。
• 意味セマンティック分割、物体検出、インスタンス分割の性能向上を示す。

提案手法

• バックボーン特徴 F から粗いグローバル特徴 F_GA を計算するために Global Aggregation (GA) モジュールを使用する。
• Local Distribution (LD) を導入し、F_GA 上で深さ方向畳み込みを用いてチャンネルごとのマスクマップ M を学習し、精錬特徴 F_GALD = M ⊙ F_GA + F_GA を生成する。
• F_GALD を元の F と結合して、タスクヘッド（例: セマンティック分割、検出）の最終特徴 F_o を形成する。
• LD のマスク M は M = σ(upsample(W_d F_GA)) として生成され、σ はシグモイド、W_d は depth-wise フィルタである。
• GA モジュールは任意の既存の GA 設計（例: CGNL、NL、PSP、ASPP）でよく、LD は普遍的に適合する。
• トレーニングは標準の目的関数を用い、セグメンテーションには任意で Online Hard Example Mining (OHEM) を適用可能。

実験結果

リサーチクエスチョン

• RQ1 FCN におけるグローバル文脈の適応的な局所分布は、小さなパターン領域と大きなパターン領域にどのような影響を与えるか？
• RQ2 GALD は、セマンティック分割、検出、インスタンス分割のタスク全体で、さまざまな GA モジュールとバックボーンに取り付けた場合、性能を一貫して改善できるか？
• RQ3 LD モジュールの効果に対するマスクのダウンサンプリング戦略の影響は？
• RQ4 標準バックボーンで Cityscapes に対して最先端の単一モデル性能をGALDは実現するか？
• RQ5 Cityscapes の追加データソース（例: Mapillary）と組み合わせた場合の GALD の性能は？

主な発見

手法	mIoU(%)	Δ a	Δ b
FCN (Baseline)	73.7	-	-
+LD	77.5	3.8↑	-
+PSP + LD	78.9	5.2↑	2.7↑
+ASPP + LD	79.5	5.4↑	2.3↑
+NL + LD	79.2	5.3↑	1.2↑
+CGNL + LD	79.6	5.9↑	1.4↑

• GALD は、セマンティック分割のために FCN バックボーンに接続した場合、GA モジュール（例: CGNL、NL、PSP、ASPP）を一貫して改善します。
• Cityscapes のセマンティック分割では、単一モデルの ResNet101 GALD 設定がテストセットで 83.3% の mIoU を達成します（Mapillary データを含む）。
• LD 単独で FCN の mIoU を 3.8% 向上させ、GALD（GA + LD）は構成全体で最も大きな改善をもたらします。
• Pascal VOC 検出と COCO インスタンス分割において、GALD は強力なベースラインより AP-box および AP-mask を約 0.5–1.0% 向上させます。
• アブレーション結果は、LD のマスク推定における深さ方向ダウンサンプリングが、テストした戦略の中で最も良好であることを示し、CGNL+LD が複数の設定で最も強い結果を達成します。
• ベースラインの Faster R-CNN および Mask R-CNN（ResNet バックボーン）と比較して、GALD は mAP@0.5 および AP-mask を改善し、タスクとデータセットを跨る汎化を示します。