[論文レビュー] ExFuse: Enhancing Feature Fusion for Semantic Segmentation

Zhenli Zhang, Xiangyu Zhang+3 more|arXiv (Cornell University)|Apr 11, 2018

Advanced Neural Network Applications参考文献 31被引用数 54

ひとこと要約

ExFuse は、低レベルと高レベル特徴間の意味論的ギャップと解像度ギャップを埋め、特徴統合を強化し、全体で 4% のゲインと PASCAL VOC 2012 で最先端の結果を達成する。

ABSTRACT

Modern semantic segmentation frameworks usually combine low-level and high-level features from pre-trained backbone convolutional models to boost performance. In this paper, we first point out that a simple fusion of low-level and high-level features could be less effective because of the gap in semantic levels and spatial resolution. We find that introducing semantic information into low-level features and high-resolution details into high-level features is more effective for the later fusion. Based on this observation, we propose a new framework, named ExFuse, to bridge the gap between low-level and high-level features thus significantly improve the segmentation quality by 4.0\% in total. Furthermore, we evaluate our approach on the challenging PASCAL VOC 2012 segmentation benchmark and achieve 87.9\% mean IoU, which outperforms the previous state-of-the-art results.

研究の動機と目的

• 低レベルと高レベルの特徴を素朴に融合することが、意味論的ギャップと解像度ギャップのために効果がない理由を動機づけ、分析する。
• 低レベル特徴へ意味情報を注入し、高レベル特徴へ空間情報を注入する技術を開発する。
• これらのギャップを埋め、セグメンテーション性能を向上させるフレームワークとして ExFuse を提案する。
• アブレーション全体で改善を実証し、PASCAL VOC 2012 において最先端の結果を確立する。

提案手法

• 全体容量を変えずに、低レベル特徴を意味監督により近づけるようレイヤーを再配置する。
• 初期エンコーダ段に補助的な意味ブランチを付着させ、低レベル特徴を豊富にすることで意味監督を行う。
• Semantic embedding branch (SEB) を用いて、高レベルの意味的指向を残差融合へ融合させる。
• パラメーターフリーのアップサンプリング（サブピクセル）を用いた Explicit channel resolution embedding (ECRE) により、ハイレベル特徴へより高解像度情報を埋め込む。
• Densely adjacent prediction (DAP) を用いて、隣接ピクセル間に空間情報を伝播させるためにチャネルをグループ化して多位置予測を行う。

実験結果

リサーチクエスチョン

• RQ1 低レベルと高レベル特徴間の意味論的ギャップと解像度ギャップを橋渡しすることは、U-Net に類似したセマンティックセグメンテーションアーキテクチャにおける融合効果を改善できるか。
• RQ2 低レベルの意味的強化と高レベルの空間的強化は、それぞれパフォーマンス向上にどの程度寄与するか。
• RQ3 提案された ExFuse 手法は GCN を超えて素の U-Net および他の視覚タスクに一般化しますか。
• RQ4 より大きなバックボーンと COCO pretraining を使用した場合の VOC 2012 の結果への影響は何か。
• RQ5 改善は主に融合戦略によるものか、バックボーンの強化によるものか？

主な発見

• ExFuse は baseline GCN セットアップに対して PASCAL VOC 2012 バリデーションで総計 4.0% の mIoU 増加を達成する。
• VOC 2012 テストでは、ResNeXt-131 搭載の ExFuse が 87.9% の mIoU に達し、ポスト処理を用いない従来の最先端手法を上回る。
• レイヤー再配置、意味監督、SEB はそれぞれ低レベル特徴の品質に漸進的な利得をもたらす。
• サブピクセルアップサンプリングを用いたECREは 0.5% の mIoU 改善を生み出し、明示的な高解像度埋め込みが有益であることを示す。
• DAP は高レベル特徴チャネルへ空間情報を埋め込むことにより 0.6% の mIoU 増加をもたらす。
• COCO pretraining とテスト時拡張（翻転）を併用すると、ExFuse-131 の VOC 2012 バリデーションは 85.8%、テストは 87.9% mIoU に改善され、ベースラインと比較して。