[論文レビュー] Instance-aware Semantic Segmentation via Multi-task Network Cascades

Jifeng Dai, Kaiming He+1 more|arXiv (Cornell University)|Dec 14, 2015

Advanced Neural Network Applications参考文献 29被引用数 81

ひとこと要約

本論文では、インスタンスに依存するセマンティックセグメンテーションのためのエンドツーエンドのディーブラーニングフレームワークであるマルチタスクネットワークカスケード（MNC）を提案する。このフレームワークは、インスタンスの区別、マスク推定、オブジェクト分類という3段階のカスケード型サブタスクにタスクを分解する。特徴量の段階間での共有と空間座標を通じた微分可能バックプロパゲーションを可能にすることで、PASCAL VOC（63.5% mAP）およびMS COCO（28.2% mAP@[.5:.95]）で最先端の精度を達成した。VGG-16を用いた場合、1枚あたり360msで実行可能であり、従来手法と比べて2桁以上高速である。

ABSTRACT

Semantic segmentation research has recently witnessed rapid progress, but many leading methods are unable to identify object instances. In this paper, we present Multi-task Network Cascades for instance-aware semantic segmentation. Our model consists of three networks, respectively differentiating instances, estimating masks, and categorizing objects. These networks form a cascaded structure, and are designed to share their convolutional features. We develop an algorithm for the nontrivial end-to-end training of this causal, cascaded structure. Our solution is a clean, single-step training framework and can be generalized to cascades that have more stages. We demonstrate state-of-the-art instance-aware semantic segmentation accuracy on PASCAL VOC. Meanwhile, our method takes only 360ms testing an image using VGG-16, which is two orders of magnitude faster than previous systems for this challenging problem. As a by product, our method also achieves compelling object detection results which surpass the competitive Fast/Faster R-CNN systems. The method described in this paper is the foundation of our submissions to the MS COCO 2015 segmentation competition, where we won the 1st place.

研究の動機と目的

• 外部のマスクプロポーザルモジュールに依存せずに、インスタンスに依存するセマンティックセグメンテーションの課題を解決すること。
• 計算効率と特徴量の学習向上を図るため、サブタスク間で特徴量を共有するマルチタスク・カスケード型ディープラーニングアーキテクチャを設計すること。
• 予測されたバウンディングボックスの空間座標を介して勾配を逆伝播可能にするように、因果的でカスケード型のネットワーク構造をエンドツーエンドで学習可能にすること。
• 実世界のデプロイに適した低インフェレンス時間で高い精度を達成するインスタンスセグメンテーションを実現すること。
• PASCAL VOCおよびMS COCOベンチマークの両方でSOTA結果を達成することで、優れた一般化性能を示すこと。

提案手法

• 3段階のカスケード型ネットワークを採用する：(1) インスタンスの区別を目的としたクラスに依存しないバウンディングボックス予測、(2) インスタンスごとのピクセルレベルのマスク推定、(3) インスタンスごとのカテゴリ分類。
• すべての段階が同じ初期畳み込み特徴マップを共有することで、計算量を削減し、特徴量の一貫性を向上させる。
• 予測されたバウンディングボックスの空間座標を介したバックプロパゲーションを可能にする微分可能レイヤーを導入し、因果的カスケード構造のエンドツーエンド学習を実現する。
• フレームワークはより多くの段階への拡張が可能であり、チェーンルールに従って、特徴マップとボックス座標の両方の勾配を計算することで、1回のバックプロパゲーションパスで学習可能である。
• 各段階で標準的な分類および回帰損失を用い、マスクプロポーザルの正例／負例のサンプリングにはIoUベースの手法を採用する。
• この手法は、より深いネットワーク（例：ResNet-101）にも一般化可能であり、マルチスケールテストとグローバルコンテキストモデリングをサポートすることで、さらなる精度向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 外部のマスクプロポーザルモジュールに依存せずに、カスケード型でマルチタスクなディープラーニングフレームワークが、インスタンスに依存するセマンティックセグメンテーションで高い精度を達成できるか？
• RQ2 相互に依存する出力を持つ因果的でマルチステージのネットワークを、空間座標を介した勾配フローを保持しながらエンドツーエンドでどのように学習できるか？
• RQ3 サブタスク間での特徴量共有が、インスタンスセグメンテーションにおける精度と推論速度の両面でどの程度向上効果をもたらすか？
• RQ4 提案されたフレームワークは、より深いアーキテクチャに一般化可能であり、MS COCOのような大規模ベンチマークでSOTA性能を達成できるか？
• RQ5 エンドツーエンドで1ステップの学習フレームワークは、従来の2段階型またはプロポーザル依存型手法よりも優れた性能を発揮できるか？

主な発見

• PASCAL VOC 2012データセットでは、MNCは63.5% mAP@[.5:.95]を達成し、同じVGG-16バックボーンを用いた従来のSOTA手法よりも3.0%の向上を示した。
• VGG-16を用いた場合、1枚あたり360msで実行可能であり、従来のマスクプロポーザルモジュールに依存するシステムと比べて2桁以上高速である。
• MS COCO 2015テストデブセットでは、ResNet-101を用いたMNCは24.6% mAP@[.5:.95]を達成し、VGG-16を用いた場合に比べ26%の相対的改善を示した。アンサンブルとマルチスケールテストを適用した後は28.2% mAPを達成した。
• ボックスレベルの出力を活用することで、VOC 2007+2012でオブジェクト検出のmAPが75.9%に達し、Faster R-CNNおよびFast R-CNNのシステムを上回った。
• MNCはMS COCO 2015インスタンスセグメンテーショントラックで1位を獲得し、実用的効果とスケーラビリティを実証した。
• エンドツーエンドの学習フレームワークにより、モデルはより深い表現や大規模なアノテーションデータの恩恵を受けることができるが、アーキテクチャ的・学習的複雑性は増加しない。