[論文レビュー] Concatenated Feature Pyramid Network for Instance Segmentation

Yongqing Sun, Pranav Shenoy K P+2 more|arXiv (Cornell University)|Mar 16, 2019

Advanced Neural Network Applications参考文献 20被引用数 4

ひとこと要約

本稿では、畳み込みネットワークの各レベルで低レベル特徴（エッジ、テクスチャ）と高レベル意味特徴を連結し、新規のインセプション型モジュールを用いて統合することで、インスタンスセグメンテーションを向上させる連結特徴ピラミッドネットワーク（CFPN）を提案する。COCO上でのMask R-CNNに比べ、計算コストの増加が最小限で、バックボーン以外に追加パラメータを追加しない条件下で、マスク品質とAPが0.9向上する。

ABSTRACT

Low level features like edges and textures play an important role in accurately localizing instances in neural networks. In this paper, we propose an architecture which improves feature pyramid networks commonly used instance segmentation networks by incorporating low level features in all layers of the pyramid in an optimal and efficient way. Specifically, we introduce a new layer which learns new correlations from feature maps of multiple feature pyramid levels holistically and enhances the semantic information of the feature pyramid to improve accuracy. Our architecture is simple to implement in instance segmentation or object detection frameworks to boost accuracy. Using this method in Mask RCNN, our model achieves consistent improvement in precision on COCO Dataset with the computational overhead compared to the original feature pyramid network.

研究の動機と目的

• すべてのピラミッドレベルにわたり、低レベル特徴（エッジ、テクスチャ）を高レベル意味特徴に最適に統合することで、インスタンスセグメンテーションの精度を向上させること。
• 既存の特徴ピラミッドネットワークで用いられる要素ごとの加算の制限を克服し、特徴相関の学習を可能にするとともに、レベル間の依存関係を捉えること。
• モデルパラメータや推論コストを増加させずに、マスク品質を向上させる計算効率の良いアーキテクチャを設計すること。
• 特徴ピラミッドネットワークにおける連結ベースの統合が、要素ごとの加算よりもインスタンスセグメンテーションで優れた性能を発揮することを示すこと。
• ベースラインフレームワークとしてMask R-CNNを用い、COCOデータセット上で手法の有効性を検証すること。

提案手法

• 低レベル特徴を、要素ごとの加算ではなく、連結によって深層ネットワークの層から上位のピラミッドレベルに伝達する、新たなボトムアップパスを導入。
• 異なるピラミッドレベルからの特徴マップの連結を用いて、複数レベルの特徴間の相関を学習する新規のインセプション型モジュールを採用。
• アーリアスイングを低減し、特に小形物体の検出を向上させるために、連結された特徴マップに3×3の後処理畳み込み層を適用。
• 安定性と効率性を維持するため、元のトップダウンパスを維持しつつ、ボトムアップパスのラテラル接続を連結に置き換える。
• CFPNモジュールをMask R-CNNに適用し、標準的なFPNに代えて、トップダウンおよびボトムアップの二重パスによる特徴統合機構を導入。
• ResNet-50バックボーン、バッチ正規化、ImageNetからの転移学習を用い、COCO上で標準的な最適化プロトコルに従ってモデルを訓練。

実験結果

リサーチクエスチョン

• RQ1 特徴ピラミッド内の複数レベル特徴の連結が、要素ごとの加算と比較してインスタンスセグメンテーション性能を向上させるか？
• RQ2 すべてのピラミッドレベルにわたり低レベル特徴を統合することで、特に小形物体に対してマスク品質が向上するか？
• RQ3 連結によるボトムアップ特徴統合パスが、計算コストを最小限に抑えつつ、既存のトップダウンまたはハイブリッド手法を上回る性能を達成できるか？
• RQ4 COCOデータセット上でのAP、AP50、AP75の観点から、提案されたCFPNアーキテクチャはMask R-CNNおよびPANetと比較してどのように差をつけるか？
• RQ5 後処理畳み込み層の追加が、モデル複雑性を増加させずに小形物体検出を顕著に向上させるか？

主な発見

• 提案されたCFPNモデルは、COCO上でのマスクAPが34.8を達成し、ベースラインのMask R-CNN（33.9）に比べ0.9向上し、ボトムアップパス拡張を施したMask R-CNN（34.4）に比べも0.4向上した。
• モデルはMask R-CNNに比べてボクシングボックスAPを0.5向上させ、BPA強化バージョンに比べ0.3向上させ、一貫した性能向上を示した。
• Model 1はAP_L（大形物体）の指標で最高性能を記録し、エッジやテクスチャの効果的活用により、大形インスタンスの局所化精度が向上した。
• 後処理畳み込み層を搭載しないModel 1*は、マスクAPが34.6、MAC演算量が9.6×10⁹に留まり、追加の精錬層がなくても、コアとなるCFPN機構が性能向上をもたらすことを示した。
• 連結は通常、計算コストが高くなるが、全体のMAC数は56.7×10⁹（Model 1）に留まり、元のFPN（52.2×10⁹）に比べわずかに上回るにとどまり、計算効率の高さを裏付けた。
• 可視化比較では、CFPNが生成するマスクが、特に小形・複雑な物体に対して、物体境界により正確に一致していることが示され、最適な低レベル特徴統合の効果が裏付けられた。