[論文レビュー] ParseNet: Looking Wider to See Better

Wei Liu, Andrew Rabinovich+1 more|arXiv (Cornell University)|Jun 15, 2015

Advanced Neural Network Applications参考文献 32被引用数 1,060

ひとこと要約

ParseNetは、画像全体にわたる特徴のプーリングにより特徴マップにグローバルコンテキストを統合し、各空間的位置に付加することで、セマンティックセグメンテーションのためのシンプルでエンドツーエンドの完全畳み込みネットワークを導入した。この手法は、SiftFlowおよびPASCAL-Contextにおいて顕著な精度向上を達成し、SOTA（最先端）の結果を獲得した。PASCAL VOC 2012では、ベースラインのFCNと比較して最小限の計算コストで準SOTAの性能を発揮した。

ABSTRACT

We present a technique for adding global context to deep convolutional networks for semantic segmentation. The approach is simple, using the average feature for a layer to augment the features at each location. In addition, we study several idiosyncrasies of training, significantly increasing the performance of baseline networks (e.g. from FCN). When we add our proposed global feature, and a technique for learning normalization parameters, accuracy increases consistently even over our improved versions of the baselines. Our proposed approach, ParseNet, achieves state-of-the-art performance on SiftFlow and PASCAL-Context with small additional computational cost over baselines, and near current state-of-the-art performance on PASCAL VOC 2012 semantic segmentation with a simple approach. Code is available at https://github.com/weiliu89/caffe/tree/fcn .

研究の動機と目的

• 完全畳み込みネットワーク（FCN）にシーンレベルのコンテキストを組み込むことで、セマンティックセグメンテーションの精度を向上させること。FCNは通常、このようなシーンレベルのコンテキストを無視する。
• 受容 field が不十分であるために、長距離にわたるラベルの一貫性を維持できないFCNの限界を解消すること。
• 複雑な後処理やCRFのようなハイブリッドモデルを避けるシンプルでエンドツーエンドの深層学習アーキテクチャを開発すること。
• グローバルコンテキストを最小限の計算コストでFCNに効果的に統合し、顕著な精度向上を達成できることを示すこと。
• グローバルコンテキストを追加する前の段階で、特徴の正規化や学習可能なスケーリングといった最良の訓練実践法を確立し、性能を最大限に引き出すこと。

提案手法

• 特定のレイヤーの特徴マップを画像全体にわたってプーリングし、グローバルコンテキストベクトルを生成すること。
• グローバルコンテキストベクトルを元の特徴マップの空間的次元にアンプーリングし、元の特徴と連結すること。
• スケールの違いがある異なるレイヤーからの特徴に対してL2正規化を適用し、効果的な特徴統合を可能にすること。
• バックプロパゲーションにより特徴統合のためのスケーリング係数を学習させ、多層特徴を最適に組み合わせること。
• 特に高レベル特徴（例：fc7）に、グローバルコンテキストのインジェクションを効果的に適用することで、文脈理解を向上させること。
• 複数のレイヤーからの特徴を、学習可能な重みを用いて後段の統合（ラテナル融合）することで、訓練の複雑さを増すことなく寄与度をバランスさせること。

実験結果

リサーチクエスチョン

• RQ1 後処理のCRFに依存せずに、完全畳み込みネットワークにグローバルコンテキストを効果的に統合できるか？
• RQ2 グローバル平均プーリングにより得られるグローバルコンテキストベクトルを追加することで、標準のFCNベースラインと比較してセグメンテーション精度が向上するか？
• RQ3 多層特徴の正規化と学習可能なスケーリングが、セマンティックセグメンテーションネットワークの性能に与える影響は何か？
• RQ4 グローバルコンテキストの導入による性能向上は、複雑なCRFベースの後処理手法と同等のものか？
• RQ5 グローバルコンテキストを組み込んだシンプルでエンドツーエンドのアーキテクチャが、SiftFlow や PASCAL-Context といった標準ベンチマークでSOTAの結果を達成できるか？

主な発見

• ParseNetはSiftFlowデータセットでSOTAの性能を達成し、PASCAL-Contextデータセットでは69.55%のmIoU（平均交差率）を達成した。
• PASCAL VOC 2012では、mIoUが69.8%を記録し、DeepLab-LargeFOV-CRF手法の1標準偏差以内に収まり、よりシンプルなアーキテクチャでありながら競争力のある性能を示した。
• グローバルコンテキストの追加により、PASCAL-ContextにおけるベースラインFCN性能が5%以上向上した。これは、グローバルコンテキストが局所的な曖昧性を解消する鍵要因であることを示している。
• 学習可能なスケーリングと正規化を組み合わせた本手法は、PASCAL-ContextでベースラインFCNを5.5ポイント向上させた。これは、訓練の最良実践法そのものが、グローバルコンテキストを追加する前から顕著な性能向上をもたらすことを示している。
• サブ領域特徴（1×1、2×2、4×4）を用いた空間ピラミッドプーリングは結果に改善をもたらさず、高レベル特徴の受容フィールドが既にグローバルコンテキストモデリングに十分であることを示唆している。
• 本手法は頑健で訓練が容易であり、標準FCNに追加の計算コストを負担せずに推論が可能であり、必要に応じてCRFと組み合わせることでさらなる性能向上が可能である。