[論文レビュー] Path Aggregation Network for Instance Segmentation

Shu Liu, Lu Qi+3 more|arXiv (Cornell University)|Mar 5, 2018

Advanced Neural Network Applications参考文献 66被引用数 350

ひとこと要約

PANet は bottom-up path augmentation、すべての特徴レベルからの adaptive feature pooling、補完的なマスク予測ブランチを追加することにより Mask R-CNN スタイルのアーキテクチャに情報の流れを強化し、大規模バッチ学習なしで COCO、Cityscapes、MVD でトップの成果を達成します。

ABSTRACT

The way that information propagates in neural networks is of great importance. In this paper, we propose Path Aggregation Network (PANet) aiming at boosting information flow in proposal-based instance segmentation framework. Specifically, we enhance the entire feature hierarchy with accurate localization signals in lower layers by bottom-up path augmentation, which shortens the information path between lower layers and topmost feature. We present adaptive feature pooling, which links feature grid and all feature levels to make useful information in each feature level propagate directly to following proposal subnetworks. A complementary branch capturing different views for each proposal is created to further improve mask prediction. These improvements are simple to implement, with subtle extra computational overhead. Our PANet reaches the 1st place in the COCO 2017 Challenge Instance Segmentation task and the 2nd place in Object Detection task without large-batch training. It is also state-of-the-art on MVD and Cityscapes. Code is available at https://github.com/ShuLiu1993/PANet

研究の動機と目的

• 提案ベースのインスタンス分割フレームワーク内の情報フローの改善を動機づける。
• 下向きの augmentation によって情報経路を短縮し、局所化信号を強化する。
• 適応プーリングを用いて各提案の全ての特徴レベルから情報を取り込み、各提案が全特徴レベルへアクセスできるようにする。
• 補完的なマスク予測経路を追加してマスクの品質を改善する。
• 大規模バッチ学習を要さずに COCO、Cityscapes、MVD データセットで最先端の性能を示す。

提案手法

• 低レベルから高レベルの特徴への情報経路を短縮するための bottom-up path augmentation を導入する。
• 各提案のために全てのピラミッドレベルから特徴を融合する adaptive feature pooling を開発する。
• 小さな全結合(fc)融合ブランチを用いてマスク予測ブランチに補完的な経路を追加し、マスク予測を多様化する。
• ROIAlign を用いてボックスおよびマスク予測のために複数レベルから特徴をプールし、max/sum 融合とレイヤーごとのパラメータ学習を行う。
• FCN ベースのブランチと FC(fully-connected) ブランチからの予測を融合してマスク品質を向上させる。
• ResNet 系列のバックボーンなど既存のバックボーンとの互換性を維持し、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 bottom-up path augmentation はトップダウンの FPN 経路から得られる情報より局所化信号と全体的なインスタンス分割性能を改善するか。
• RQ2 各提案のために全ての特徴ピラミッドレベルの情報を集約する adaptive feature pooling は、レベル割り当てプーリングより良い予測を生み出すか。
• RQ3 マスクブランチにおける補完的な fc ベースの経路は計算量を過度に増やさずにマスク品質を改善できるか。
• RQ4 提案された PANet の構成要素は COCO、Cityscapes、MVD データセットの単一スケールおよびマルチスケールの訓練/推定でどのような性能影響をもたらすか。

主な発見

• PANet は大規模バッチ学習なしで COCO 2017 Instance Segmentation（1 位）および Object Detection（2 位）で最先端の結果を達成した。
• Adaptive feature pooling により提案が複数の特徴レベルから情報を活用でき、小さなインスタンスと大きなインスタンスの両方の性能を向上させる。
• Bottom-up path augmentation は基準よりマスク AP およびボックス AP を一貫して改善し、特に大規模なインスタンスで顕著。
• マスクブランチの Fully-connected 融合はマスク品質に追加の改善をもたらし、全体の改善に寄与する。
• アブレーション研究は bottom-up augmentation、adaptive pooling、fc 融合を組み合わせることで、COCO val2017 で再実装したベースラインに対してマスク AP とボックス AP の面で substantial gains を生み出すことを示した。
• PANet は Cityscapes および MVD でも強力な結果を示し、データセットを跨る頑健性を示している。