[論文レビュー] Pseudo Mask Augmented Object Detection

Xiangyun Zhao, Shuang Liang+1 more|arXiv (Cornell University)|Mar 15, 2018

Advanced Neural Network Applications参考文献 36被引用数 5

ひとこと要約

本稿では、グラフカット最適化とセグメンテーションブランチからのトップダウンフィードバックを用いて、バウンディングボックスアノテーションから反復的に擬似インスタンスセグメンテーションマスクを精錬する、Pseudo-Mask Augmented Detection (PAD) を提案する。この手法は、ResNet-101を用いてPASCAL VOC 2012で79.5%のmAPを達成し、弱い監視信号としてのインスタンスレベルセグメンテーション信号が検出性能を顕著に向上させることを示している。

ABSTRACT

In this work, we present a novel and effective framework to facilitate object detection with the instance-level segmentation information that is only supervised by bounding box annotation. Starting from the joint object detection and instance segmentation network, we propose to recursively estimate the pseudo ground-truth object masks from the instance-level object segmentation network training, and then enhance the detection network with top-down segmentation feedbacks. The pseudo ground truth mask and network parameters are optimized alternatively to mutually benefit each other. To obtain the promising pseudo masks in each iteration, we embed a graphical inference that incorporates the low-level image appearance consistency and the bounding box annotations to refine the segmentation masks predicted by the segmentation network. Our approach progressively improves the object detection performance by incorporating the detailed pixel-wise information learned from the weakly-supervised segmentation network. Extensive evaluation on the detection task in PASCAL VOC 2007 and 2012 [12] verifies that the proposed approach is effective.

研究の動機と目的

• ピクセルレベルのセグメンテーションマスクを必要とせず、バウンディングボックスアノテーションのみを用いてオブジェクト検出性能を向上させること。
• インスタンスレベルセグメンテーションマスクの高コストなアノテーションを補い、弱い監視信号（バウンディングボックス）から擬似マスクを生成すること。
• 反復的でフィードバック駆動の訓練により、検出とセグメンテーションネットワークの相互向上を実現すること。
• 共有特徴フレームワーク内でのトップダウン監視によって、セグメンテーションフィードバックが検出性能に直接的にどのように向上するかを調査すること。

提案手法

• 擬似マスク推定とネットワークパラメータ更新の間でEMに類似した交互最適化を用いる。
• 低レベルの外観一貫性を強制し、真値のバウンディングボックス制約を尊重するグラフカットベースの推論を用いて、擬似マスクを反復的に精錬する。
• 擬似マスク学習を監督するための新しい1次元ボックス損失を導入し、精錬過程での局所化精度を向上させる。
• グローバルおよびインスタンスレベルのセグメンテーションブランチから検出ネットワークへトップダウンフィードバックを注入し、検出性能を向上させる。
• 検出とマスク予測のための別個のヘッドを維持しつつ、初期畳み込み層を共有することで特徴共有を実現する。
• フレームワークは、まずグラフカットを用いて擬似マスクを精錬し、次に精錬済みマスクでネットワークを更新するという交互最適化により、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 真値のセグメンテーションマスクが入手不可な状況下でも、バウンディングボックスアノテーションのみを用いてオブジェクト検出性能を顕著に向上させられるか？
• RQ2 弱い監視信号（バウンディングボックス）からどのように効果的に擬似セグメンテーションマスクを精錬し、実際のマスクに近づけることができるか？
• RQ3 弱い監視設定下で、トップダウンのセグメンテーションフィードバックが検出精度に与える影響は何か？
• RQ4 1次元ボックス損失の統合が、擬似マスク学習の品質をどのように向上させるか？
• RQ5 擬似マスクの反復的精錬は、検出およびセグメンテーション性能に一貫した改善をもたらすか？

主な発見

• PADは、ResNet-101を用いてPASCAL VOC 2012で79.5%のmAPを達成し、同じ訓練プロトコル下での先行研究をすべて上回った。
• ベースラインのFaster R-CNN（VGG-16）と比較して、検出mAPが5%以上向上した。
• 擬似マスクの反復的精錬により一貫した改善が得られ、SDSタスクにおけるmAP bは1回目（iter 1）の52.1%から最終段階（final iter）の58.5%まで上昇した。
• 1次元ボックス損失とグラフカット精錬の導入により、アブレーションスタディで擬似マスク品質が顕著に向上した。
• グローバルおよびインスタンスレベルのセグメンテーションブランチからのトップダウンフィードバックが検出性能向上に寄与し、両方のコンポonentが有効かつ補完的であった。
• 推論時のオーバーヘッドはわずか（Faster R-CNNの0.42秒対PADの0.49秒）、パラメータ増加もわずか（約100万）であり、実世界への応用に実用的である。