[論文レビュー] Weakly Supervised Semantic Labelling and Instance Segmentation

Anna Khoreva, Rodrigo Benenson+3 more|arXiv (Cornell University)|Mar 24, 2016

Advanced Neural Network Applications参考文献 9被引用数 12

ひとこと要約

本論文では、境界ボックスのアノテーションのみを用いて、セマンティックラベリングおよびインスタンスセグメンテーションのための再帰的弱教師付き学習アプローチを提案する。畳み込みニューラルネットワークを用いて予測を段階的に改善することで、完全教師ありモデルの性能の約95％を達成する。矩形ベースの初期化でさえも、先行する弱教師付き手法を著しく上回る性能を発揮する。

ABSTRACT

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose to recursively train a convnet such that outputs are improved after each iteration. We explore which aspects affect the recursive training, and which is the most suitable box-guided segmentation to use as initialisation. Our results improve significantly over previously reported ones, even when using rectangles as rough initialisation. Overall, our weak supervision approach reaches ~95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

研究の動機と目的

• セマンティックラベリングおよびインスタンスセグメンテーションの高コストなアノテーションを軽減するため、境界ボックスのアノテーションからの弱教師付き学習を活用すること。
• 最小限の監視情報で段階的に予測を改善する再帰的トレーニングフレームワークを構築すること。
• 弱教師付き学習の初期化として、さまざまなボックスガイド付きセグメンテーション手法の影響を評価すること。
• 境界ボックスレベルのアノテーションのみを用いて、完全教師ありモデルに近い性能を達成すること。

提案手法

• 本手法は、境界ボックスからの弱教師付き学習を用いて、畳み込みニューラルネットワーク（convnet）を再帰的に訓練し、各イテレーションで予測を改善する。
• 初期のセグメンテーション予測は、矩形ベースの提案など、ボックスガイド付き手法を用いて生成され、トレーニングの起動を図る。
• 前回のイテレーションから得た疑似ラベルを活用することで、モデルは段階的に予測を向上させ、アノテーション依存性を低減する。
• 自己改善を実現するため、再帰的トレーニングループを採用し、各イテレーションで特徴抽出とセグメンテーション精度を向上させる。
• 弱教師付き学習の初期化としての効果的な出発点を特定するために、さまざまな初期化戦略を評価する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスによる弱教師付き学習を再帰的に適用した場合、セマンティックラベリングおよびインスタンスセグメンテーションの性能にどのような影響を与えるか？
• RQ2 弱教師付き設定において、どのボックスガイド付きセグメンテーション初期化手法が最良の性能を発揮するか？
• RQ3 境界ボックスによる弱教師付き学習が、完全教師ありモデルの性能にどの程度近づけるか？
• RQ4 再帰的トレーニングプロセスの収束および改善に影響を与える要因は何か？

主な発見

• 提案された再帰的トレーニング手法は、セマンティックラベリングおよびインスタンスセグメンテーションの両方で、完全教師ありモデルの性能の約95％を達成する。
• 矩形ベースの初期化からでも顕著な性能向上が観察され、粗い監視情報に対しても頑健であることが示された。
• 再帰的精錬プロセスはイテレーションを経て一貫してセグメンテーション品質を向上させ、効果的な自己教師付き学習が実現している。
• 初期のボックスガイド付きセグメンテーション手法の選択が最終的な性能に顕著な影響を与え、一部のアプローチが他のものよりも優れていることが分かった。