[論文レビュー] Weakly Supervised Object Boundaries

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Nov 24, 2015

Infrastructure Maintenance and Monitoring参考文献 31被引用数 5

ひとこと要約

本論文は、インスタンス単位の境界アノテーションに代えてバウンディングボックスアノテーションのみを用いる弱教師付き手法を提案し、オブジェクト固有の境界検出で最先端の性能を達成する。オブジェクト検出器と非教師付きセグメンテーション、一般化された境界検出器を統合することで、完全教師あり手法を上回る高品質な弱教師信号を生成する。Pascal VOCおよびSBDベンチマークで優れた性能を示す。

ABSTRACT

State-of-the-art learning based boundary detection methods require extensive training data. Since labelling object boundaries is one of the most expensive types of annotations, there is a need to relax the requirement to carefully annotate images to make both the training more affordable and to extend the amount of training data. In this paper we propose a technique to generate weakly supervised annotations and show that bounding box annotations alone suffice to reach high-quality object boundaries without using any object-specific boundary annotations. With the proposed weak supervision techniques we achieve the top performance on the object boundary detection task, outperforming by a large margin the current fully supervised state-of-the-art methods.

研究の動機と目的

• インスタンス単位のオブジェクト境界ラベル付けにかかる高コストを軽減すること。これはバウンディングボックスアノテーションよりもはるかに高価である。
• 訓練時にクラス固有の境界アノテーションを一切用いずに、オブジェクト固有の境界を学習可能かどうかを調査すること。
• バウンディングボックスと一般化された境界を活用して、高品質なオブジェクト境界予測を生成する弱教師付き技術を開発すること。
• 最小限の監視情報で標準的な境界検出ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、オブジェクト検出器と非教師付き画像セグメンテーション（例：MCG、SeSe）および一般化された境界検出器（例：BSDSでのSE）を組み合わせることで、弱教師付き境界アノテーションを生成する。
• バウンディングボックス検出とセグメンテーションの提案を、交差演算（例：SeSe ∩ BBs）を用いて統合し、仮の正例境界を生成する。
• 2段階のフレームワークを採用する：まずオブジェクト検出器がオブジェクトを局所化し、次に検出とセグメンテーションの出力から導出された弱教師付き偽ラベルに基づいて境界検出器を訓練する。
• モデルの学習には、意思決定ツリー（SE）と深層畳み込みネットワーク（HED）を用い、後者は分類データセットで事前学習済みとする。
• 弱教師付き戦略では、オブジェクト提案と境界応答の空間的一致性を活用して境界予測を精緻化する。
• 最終的なモデルは、Pascal VOC、SBD、COCOベンチマークで標準的な指標（mF、AP）を用い、先行研究と同一のプロトコルで評価される。

実験結果

リサーチクエスチョン

• RQ1 訓練時にインスタンス単位の境界アノテーションを一切用いずに、オブジェクト固有の境界を正確に検出可能か？
• RQ2 バウンディングボックスアノテーションのみで、完全教師あり手法と同等またはそれ以上の性能を達成できるか？
• RQ3 オブジェクト検出器、非教師付きセグメンテーション、一般化された境界検出器の統合は、信頼性の高い弱教師信号を生成するのにどの程度有効か？
• RQ4 弱教師付きモデルは、再トレーニングなしで未学習のオブジェクトクラスやデータセットに一般化可能か？

主な発見

• バウンディングボックスアノテーションのみを用いた本手法は、Pascal VOC 2012の境界検出ベンチマークで最先端の性能を達成し、以前に報告された完全教師あり手法を上回る。
• SBDベンチマークでは、最良の弱教師付きモデル（Det.+HED、一貫性のあるS&G ∩ BBs）が平均Fスコア52、mAP 47を達成し、先行手法を上回る性能を示した。
• VOCで弱教師付き学習を行ったモデルは、COCOに一般化しやすく、COCOで再トレーニングなしに完全教師ありSEモデルと同等の性能を達成した。
• 本手法は、ポリゴン境界アノテーションの必要性を排除することで、アノテーションコストを顕著に低減したが、検出品質は維持または向上させた。
• 定性的な結果から、弱教師付きモデルは非オブジェクト境界を抑制し、関連するオブジェクトインスタンスに焦点を当てており、完全教師あり手法と密接に一致する。
• ノイズの多いアノテーションに対しても本手法は頑健であり、高いアノテーションノイズ下でも性能低下が最小限に抑えられ、実用性が裏付けられた。