[論文レビュー] Mixed context networks for semantic segmentation

Haiming Sun, Di Xie+1 more|arXiv (Cornell University)|Oct 19, 2016

Advanced Neural Network Applications参考文献 15被引用数 4

ひとこと要約

本論文では、複数の拡張畳み込みから得られる特徴量を動的に融合することで、意味セグメンテーションの性能を向上させる、新しいモジュールであるMixed Context Network (MCN) を提案する。異なる受容 field を持つ複数の拡張畳み込みからの特徴量を、関連するスケールを適応的に学習することで重みづけする。このアプローチにより、PASCAL VOC 2012（80.6% mean IoU）およびMIT SceneParsing150（マルチスケール入力時、41.58% mean IoU）で、従来のFCNベースのモデルを上回る性能を達成した。

ABSTRACT

Semantic segmentation is challenging as it requires both object-level information and pixel-level accuracy. Recently, FCN-based systems gained great improvement in this area. Unlike classification networks, combining features of different layers plays an important role in these dense prediction models, as these features contains information of different levels. A number of models have been proposed to show how to use these features. However, what is the best architecture to make use of features of different layers is still a question. In this paper, we propose a module, called mixed context network, and show that our presented system outperforms most existing semantic segmentation systems by making use of this module.

研究の動機と目的

• 意味セグメンテーションにおけるマルチスケールの文脈を捉えることの課題を解決し、特徴量の融合を改善すること。
• 異なるサンプリングレートを持つ複数の拡張畳み込みからの特徴量を動的に結合できる学習可能なモジュールを設計すること。
• 計算コストを著しく増加させることなく、オブジェクトレベルおよびピクセルレベルの精度を向上させること。
• PASCAL VOC 2012 や MIT SceneParsing150 のような、オブジェクトサイズのばらつきが大きいデータセットにおける性能を向上させること。

提案手法

• 異なるサンプリングレートを持つ複数の拡張畳み込み層からの特徴マップを融合する学習可能なモジュールとして、Mixed Context Network (MCN) を提案する。
• 各ブランチが異なるレートの拡張畳み込みを適用することで、多様な受容 field を捉えるマルチブランチアーキテクチャを採用する。
• 学習可能な重みを用いて特徴量を動的に結合し、空間的な位置ごとに最も関連性の高いスケールを同定できるようにする。
• 予測ラベルの空間的一致性を強制するために、メモリ効率の良い Message Passing Network (MPN) を導入する。
• FCN-32sバックボーンの後にMCNをプラグインモジュールとして統合し、conv4_3、conv5_3、fc7の特徴マップを入力とする。
• 勾配の流れと特徴量の伝搬を改善するために、長距離および短距離のスキップ接続を適用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な特徴量の融合機構は、固定または線形結合の手法を上回る性能を示せるか？
• RQ2 異なるスケールの拡張畳み込みにおける特徴量の適応的重みづけは、サイズの異なるオブジェクトに対する性能にどのように影響するか？
• RQ3 提案されたMCNモジュールは、複雑なシーンレイアウトやクラスの不均衡を示す多様なデータセットに一般化可能か？
• RQ4 メモリ効率の良いリファインメントモジュール（MPN）は、推論コストを増加させることなく空間的一致性を向上させられるか？

主な発見

• MCNモジュールは、PASCAL VOC 2012 の検証セットで80.6%のmean IoUを達成し、FCN-32sベースライン（78.4%）および他のバリエーションを上回った。
• マルチスケール入力を利用した場合、FCN_MCNモデルはPASCAL VOC 2012のテストセットで81.4%のmean IoUを達成した。
• MIT SceneParsing150では、FCN_MCN_REFINE_MPN + マルチスケールモデルが、検証セットで41.58%のmean IoUを達成した。
• Message Passing Network (MPN) は空間的一致性を向上させ、FCN_MCN_REFINEに比べて0.48%の絶対的IoU向上をもたらした。
• MCNに長距離スキップ接続を追加すると、FCN_MCNに比べて0.4%の向上が得られ、残差学習が特徴量伝搬を強化することが示された。
• MCNモジュールは、PASCAL VOC 2012 および MIT SceneParsing150 の両方で一貫した向上を示し、データセットやスケールの変動に対して頑健であることが確認された。