[論文レビュー] Simple Does It: Weakly Supervised Instance and Semantic Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Mar 24, 2016

Machine Learning and Data Classification参考文献 45被引用数 33

ひとこと要約

本論文は、境界ボックスのアノテーションのみを用いて弱教師ありのインスタンスセグメンテーションとセマンティックセグメンテーションを実現するアプローチを提案する。GrabCutに類似したアルゴリズムを活用し、セグメンテーションネットワークの学習手順を変更せずに高品質なトレーニングラベルを生成する。セマンティックセグメンテーションおよびインスタンスセグメンテーションの両タスクで、完全教師ありモデルの約95％の性能を達成し、弱教師あり学習分野で新たなSOTAを樹立した。

ABSTRACT

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose a new approach that does not require modification of the segmentation training procedure. We show that when carefully designing the input labels from given bounding boxes, even a single round of training is enough to improve over previously reported weakly supervised results. Overall, our weak supervision approach reaches ~95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

研究の動機と目的

• ピクセル単位のセグメンテーションにかかる高コストなアノテーションを、境界ボックスのアノテーションを弱教師として活用することで低減すること。
• セグメンテーションネットワークの学習手順を変更せずに、弱教師ありのセマンティックおよびインスタンスセグメンテーションの性能を向上させること。
• 再帰的トレーニングとボックスガイドドセグメンテーション技術が、トレーニングラベルのノイズ除去にどの程度有効であるかを検証すること。
• 弱教師ありインスタンスセグメンテーション分野で初のSOTA結果を確立すること。
• 境界ボックスからの慎重なラベル生成が、最小限のアーキテクチャ変更で完全教師あり性能に匹敵することを実証すること。

提案手法

• 境界ボックスアノテーションからGrabCut+を用いて疑似セグメンテーションマスクを生成し、セグメンテーションネットワークの学習手順を変更せずに高品質なトレーニングラベルを生成する。
• 1ラウンドの予測結果をもとに次ラウンドの監督信号を改善する再帰的トレーニングを適用し、ラベルノイズを低減する。
• 境界ボックスを追加入力チャネルとして用いる変更版DeepLabネットワーク（DeepLab_BOX）を導入し、インスタンス固有のセグメンテーションをガイドする。
• 段階的なトレーニング戦略を採用：まずGrabCut+で疑似ラベルを生成し、その後そのラベルでセグメンテーションネットワークを学習する。
• VOC12およびVOC12+COCOデータセットを用い、境界ボックスアノテーションを弱教師としてモデルをトレーニングおよび評価する。
• CRFによる後処理を回避し、代わりに頑健なラベル生成法とネットワーク設計に依存して高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションネットワークの学習手順を変更せずに、境界ボックスのアノテーションのみで高品質なセマンティックセグメンテーションを達成できるか？
• RQ2 ボックスガイドド疑似ラベル生成と組み合わせた再帰的トレーニングは、弱教師ありセグメンテーションにおいてどの程度有効か？
• RQ3 GrabCutに類似したアルゴリズムは、完全教師あり性能に近づく十分に正確なトレーニングラベルを生成できるか？
• RQ4 弱教師ありインスタンスセグメンテーションでSOTAの結果を達成することは可能か？
• RQ5 同じネットワークアーキテクチャを用いた場合、弱教師ありと完全教師ありセグメンテーションの性能差はどの程度か？

主な発見

• 提案手法は、セマンティックセグメンテーションおよびインスタンスセグメンテーションの両タスクで、完全教師ありモデルの約95％の性能を達成した。
• 弱教師ありのDeepLab_BOXは、VOC12+COCOで46.4 mAPr@0.5および18.5 mAPr@0.75のスコアを達成したが、完全教師ありでは49.4および23.7であった。
• 本手法は、弱教師ありセマンティックセグメンテーション分野で新たなSOTAを樹立し、再帰的トレーニングやEMベース手法を用いた先行研究を上回った。
• 本研究では、弱教師ありインスタンスセグメンテーション分野で、初めて競争力のある結果を報告した。完全教師あり性能の約95％を達成した。
• GrabCut+は、単純なボックス埋めや楕円フィッティングよりも著しく優れた疑似ラベルを生成し、ベースライン比で10–15％のmAPr向上を達成した。
• ボックスのみの監督で再帰的トレーニングを適用した場合（Box^i）も良好な結果を示したが、ネットワークの変更を要しないラベル生成アプローチ（M∩G+）に劣った。