[論文レビュー] BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation

Jifeng Dai, Kaiming He+1 more|arXiv (Cornell University)|Mar 5, 2015

Advanced Neural Network Applications参考文献 33被引用数 146

ひとこと要約

BoxSupは、境界ボックスのアノテーションのみを用いて深層畳み込みネットワークを学習する弱教師ありセマンティックセグメンテーション手法を提案する。領域提案とモデル更新の反復的最適化を活用し、PASCAL VOC 2012（40.5 mIoU）およびPASCAL-CONTEXT（40.5 mIoU）で最先端の性能を達成する。大規模なCOCOの境界ボックスを活用することで、完全なマスク教師ありベースラインを上回り、粗いアノテーションと反復的最適化を組み合わせることで、セグメンテーション精度を著しく向上できることを示している。

ABSTRACT

Recent leading approaches to semantic segmentation rely on deep convolutional networks trained with human-annotated, pixel-level segmentation masks. Such pixel-accurate supervision demands expensive labeling effort and limits the performance of deep networks that usually benefit from more training data. In this paper, we propose a method that achieves competitive accuracy but only requires easily obtained bounding box annotations. The basic idea is to iterate between automatically generating region proposals and training convolutional networks. These two steps gradually recover segmentation masks for improving the networks, and vise versa. Our method, called BoxSup, produces competitive results supervised by boxes only, on par with strong baselines fully supervised by masks under the same setting. By leveraging a large amount of bounding boxes, BoxSup further unleashes the power of deep convolutional networks and yields state-of-the-art results on PASCAL VOC 2012 and PASCAL-CONTEXT.

研究の動機と目的

• 深層畳み込みニューラルネットワークのセマンティックセグメンテーションの学習において、高価なピクセル単位のセグメンテーションマスクへの依存を低減すること。
• 大量に入手可能な境界ボックスアノテーションが、マスク教師あり手法の代替または補完として有効であるかを検討すること。
• 粗いボックスレベルの教師信号から段階的に向上するセグメンテーションマスクを生成する反復的学習フレームワークを開発すること。
• 大規模な境界ボックスデータを弱教師あり学習と組み合わせることで、モデル性能を顕著に向上させられることを示すこと、特に完全なマスク教師ありベースラインを上回ることを示すこと。

提案手法

• 学習済みネットワークから領域提案を生成し、それらを偽マスクとして用いてネットワークを再訓練する反復的処理を実行する。
• 選択的探索（Selective Search）などの非教師あり領域提案手法を用い、境界ボックス制約から候補となるセグメンテーションマスクを生成する。
• 生成された偽マスクを用いて完全畳み込みネットワーク（FCN）を学習し、交差エントロピーまたはIoUに基づく最適化により損失を計算する。
• COCOの境界ボックスと限定的なPASCAL VOCのマスクアノテーションの組み合わせを用いて、一般化性能を向上させるためのファインチューニングを行う。
• さらに性能向上を図るため、CRFの後処理とテスト時データオーグメンテーション（マルチスケール推論）を適用する。
• ImageNetでの事前学習とトランスファー学習を活用し、弱教師あり学習でも特徴の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のマスクではなく、境界ボックスアノテーションのみで学習したセマンティックセグメンテーションモデルが、競争力のある性能を達成できるか？
• RQ2 大規模な境界ボックスアノテーションが、弱教師ありセマンティックセグメンテーションモデルの性能をどの程度向上させられるか？
• RQ3 領域提案とネットワーク更新の間で反復的リファインメントがなされると、段階的により良いセグメンテーションマスクとモデル精度が得られるか？
• RQ4 大規模データと組み合わせた境界ボックス教師あり学習が、完全なマスク教師ありモデルを上回るか、同等の性能を達成できるか？

主な発見

• BoxSupは、10,000枚のマスクアノテーションと133,000個のCOCO境界ボックスを用いてPASCAL-CONTEXTで40.5 mIoUを達成し、完全なマスク教師ありベースライン（35.7 mIoU）を上回った。
• PASCAL VOC 2012では、VOCのマスクとCOCOの境界ボックスを組み合わせたBoxSupが73.1 mAPを達成し、COCOマスクのみを用いた強力なベースライン（71.0 mAP）を上回った。
• BoxSupは、PASCAL VOC 2012およびPASCAL-CONTEXTベンチマークで、標準のマスクベース手法よりもはるかに弱い教師信号を用いながらも、最先端の性能を達成した。
• 半教師ありバージョンでは、マスクアノテーションの9/10を境界ボックスに置き換えても、完全なマスク教師ありモデルと同等の精度が得られ、ラベル付けコストの大幅な削減が可能であることが示された。
• 誤差解析の結果、境界ボックスデータの主な利点はオブジェクト認識精度の向上であり、境界の局所化精度の向上は二次的な利点であった。
• テスト時のスケールオーグメンテーションにより、VOC 2012におけるBoxSupの性能は73.1 mAPから75.2 mAPに向上し、強力なマスク教師ありモデルに近い性能に到達した。