[論文レビュー] Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network

Chao Peng, Xiangyu Zhang+3 more|arXiv (Cornell University)|Mar 8, 2017

Video Surveillance and Tracking Methods参考文献 3被引用数 29

ひとこと要約

本稿では、グローバル畳み込みネットワーク（GCN）を提案する。これは、分類と局所化の両方を向上させるために、大規模で対称的かつ分離可能なフィルタを用いた、新しい完全畳み込みアーキテクチャである。境界精錬ブロックを残差ベースで統合することで、正確なエッジ予測が可能となり、PASCAL VOC 2012で82.2%の平均IoU、Cityscapesで76.9%を達成し、従来手法を大きく上回る最先端の性能を実現した。

ABSTRACT

One of recent trends [30, 31, 14] in network architec- ture design is stacking small filters (e.g., 1x1 or 3x3) in the entire network because the stacked small filters is more ef- ficient than a large kernel, given the same computational complexity. However, in the field of semantic segmenta- tion, where we need to perform dense per-pixel prediction, we find that the large kernel (and effective receptive field) plays an important role when we have to perform the clas- sification and localization tasks simultaneously. Following our design principle, we propose a Global Convolutional Network to address both the classification and localization issues for the semantic segmentation. We also suggest a residual-based boundary refinement to further refine the ob- ject boundaries. Our approach achieves state-of-art perfor- mance on two public benchmarks and significantly outper- forms previous results, 82.2% (vs 80.2%) on PASCAL VOC 2012 dataset and 76.9% (vs 71.8%) on Cityscapes dataset.

研究の動機と目的

• セマンティックセグメンテーションにおける分類の不変性と局所化の感受性の間にある本質的矛盾を解消すること。
• 大カーネル畳み込みにより有効受容 field を拡大することで、密度的なピクセル単位予測を向上させること。
• グローバルプーリングや全結合層を避けることで、局所化の正確性を維持すること。
• エンド・ツー・エンドで学習可能な残差ベースの境界精錬ブロックを用いて、物体境界を精錬すること。
• 後処理としてのCRFに依存せずに、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 有効受容 field を拡大し、特徴の接続性を向上させるために、大規模で対称的かつ分離可能な畳み込みフィルタを用いたグローバル畳み込みネットワーク（GCN）を提案する。
• 空間解像度と局所化の正確性を保持するため、完全畳み込み型のエンコーダ・デコーダフレームワークを設計する。
• 境界近辺のセグメンテーションマップを精錬するためのリサル・モジュールとしての境界精錬（BR）ブロックを導入する。
• 主ネットワークと併せてエンド・ツー・エンドでBRブロックを学習させ、後処理としてのCRFに依存しない。
• 性能向上の有効性を検証するため、マルチスケール推論とCRF後処理をアブレーションベースラインとして用いる。
• 3段階の訓練プロセスを実施：COCOでの事前学習、SBDおよびVOCでの微調整、最終的なVOCでの微調整。

実験結果

リサーチクエスチョン

• RQ1 大カーネル畳み込みは、特徴表現と有効受容 field の向上により、セマンティックセグメンテーションの性能を向上させることができるか？
• RQ2 完全畳み込みネットワークにおいて大カーネルを使用する場合、モデル容量とパラメータ効率のトレードオフはどのように変化するか？
• RQ3 学習可能な残差ベースの境界精錬ブロックは、従来のCRF後処理を上回る境界局所化性能を達成できるか？
• RQ4 提案されたGCNアーキテクチャは、CRFやマルチスケール推論に依存せずに、標準ベンチマークで最先端の性能を達成できるか？
• RQ5 GCNの設計は、密度予測タスクにおける分類-局所化トレードオフをどの程度解消できるか？

主な発見

• GCNモデルは、PASCAL VOC 2012のテストセットで82.2%の平均IoUを達成し、以前の最先端（80.2%）を上回った。
• Cityscapesデータセットでは、76.9%の平均IoUを達成し、以前の最先端（71.8%）を大きく上回った。
• 境界精錬ブロックの導入により、PASCAL VOC 2012で1.6%（80.3%から82.2%へ）、Cityscapesで3.9%（73.0%から76.9%へ）の性能向上が確認された。
• アブレーションスタディの結果、対称的かつ分離可能なフィルタを用いた大カーネルは、受容 field のサイズとパラメータ効率の間で良好なトレードオフを実現していることが確認された。
• GCN + BRモデルは、標準的なマルチスケール推論やCRF後処理を上回り、エンド・ツー・エンドでの境界学習の有効性を示した。
• 定性的な結果から、GCNは内部領域の予測を改善する一方で、BRは特に境界の正確性を向上させていることが明らかになった。