[論文レビュー] Pyramid Scene Parsing Network

Hengshuang Zhao, Jianping Shi+3 more|arXiv (Cornell University)|Dec 4, 2016

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 314

ひとこと要約

PSPNetは、ピクセルレベルのシーン解析の多尺度グローバルコンテキストを捉える4レベルのピラミッドプーリングモジュールを導入し、ADE20K、PASCAL VOC 2012、Cityscapesで最先端の結果を達成し、深く監視されたResNetベースのFCNを実現します。

ABSTRACT

Scene parsing is challenging for unrestricted open vocabulary and diverse scenes. In this paper, we exploit the capability of global context information by different-region-based context aggregation through our pyramid pooling module together with the proposed pyramid scene parsing network (PSPNet). Our global prior representation is effective to produce good quality results on the scene parsing task, while PSPNet provides a superior framework for pixel-level prediction tasks. The proposed approach achieves state-of-the-art performance on various datasets. It came first in ImageNet scene parsing challenge 2016, PASCAL VOC 2012 benchmark and Cityscapes benchmark. A single PSPNet yields new record of mIoU accuracy 85.4% on PASCAL VOC 2012 and accuracy 80.2% on Cityscapes.

研究の動機と目的

• オープン語彙と多様なシーンでグローバルなシーンコンテクストを活用して正確なシーン解析を実現する。
• 多尺度の文脈情報を集約するピラミッドプーリングモジュールを開発する。
• 深いResNetベースのFCNの最適化を容易にするために深層監視を統合する。
• 再現性のあるシーン解析結果を提供するための実用的で詳細な実装を提供する。

提案手法

• 4つのピラミッドレベル（1x1, 2x2, 3x3, 6x6）の特徴を、拡張畳み込みResNetの特徴マップの上に統合するピラミッドプーリングモジュールを提案する。
• ピラミッドプーリングされた特徴を元の特徴マップと結合し、ピクセルごとのラベルを予測する最終畳み込みを適用する。
• 平均プーリングを使用（経験的に最大プーリングより優れていると判定）し、アップサンプリングと結合の前に次元削減を行う1x1畳み込みを適用する。
• 最適化を容易にするため、中間のResNetブロック（res4b22）に補助損失を追加して深いネットワークの最適化を支援する深層監視トレーニング戦略を採用する。
• データ拡張と多項式学習率ポリシーでエンドツーエンドに訓練し、ADE20K、PASCAL VOC 2012、Cityscapesで評価する。

実験結果

リサーチクエスチョン

• RQ1 オープン語彙データセット（例：ADE20K）に対して、ピラミッドベースのグローバルコンテキスト事前情報はピクセルレベルのシーン解析を改善できるか。
• RQ2 グローバルプーリングだけでなく、マルチスケールの局所プーリングは文脈関係をより良く编码できるか。
• RQ3 深いResNetベースのFCNの意味セグメンテーションの訓練に深層監視は有効か。
• RQ4 プーリングの型（平均 vs 最大）と次元削減がセグメンテーション性能に与える影響は何か。

主な発見

手法	Mean IoU(%)	ピクセル精度(%)
Baseline (ResNet50, dilated)	37.23	78.01
ResNet50+DA+AL	37.23	78.01
ResNet50+DA+AL+PSP	41.68	80.04
ResNet269+DA+AL+PSP+MS	44.94	81.69

• 4レベルのピラミッドプーリングを備えたPSPNetは、ResNetベースのベースラインに対してMean IoUとPixel Accuracyを大幅に向上させる。
• 構成全体を通じて平均プーリングは最大プーリングを上回る。
• 結合前のプーリング後の次元削減は性能を向上させる。
• より深いネットワーク（ResNet269）と補助損失およびPSPを組み合わせると正確度が高まり、多スケールのテストが結果をさらに向上させる。
• ADE20Kでは、深層監視とPSPを組み合わせたPSPNetは基準値に対して substantial gainsを示し、VOC 2012では単一モデルの結果が複数モデルのアンサンブルと同等かそれを上回る。
• VOC 2012では、MS-COCO事前学習と強力なクラス別性能を得て、PSPNetは85.4%のVOC accuracyを達成する。