[論文レビュー] Concept Mask: Large-Scale Segmentation from Semantic Concepts

Yufei Wang, Zhe Lin+3 more|arXiv (Cornell University)|Aug 18, 2018

Advanced Neural Network Applications参考文献 20被引用数 3

ひとこと要約

本論文では、セグメンテーションを概念駆動タスクとして扱うことで、オブジェクト、パーツ、ストアフ、属性の間でゼロショットおよびフェイントショット一般化を可能にする、弱教師ありおよび半教師ありのフレームワーク、Concept Maskを提案する。4つのデータセットを対象に画像レベル、ボクシングボックス、ピクセルレベルのアノテーションを組み合わせた3段階のトレーニングパイプラインを用いることで、完全教師ありの概念において最先端の性能を達成するとともに、未学習の概念や弱教師ありの概念へも効果的に一般化する。

ABSTRACT

Existing works on semantic segmentation typically consider a small number of labels, ranging from tens to a few hundreds. With a large number of labels, training and evaluation of such task become extremely challenging due to correlation between labels and lack of datasets with complete annotations. We formulate semantic segmentation as a problem of image segmentation given a semantic concept, and propose a novel system which can potentially handle an unlimited number of concepts, including objects, parts, stuff, and attributes. We achieve this using a weakly and semi-supervised framework leveraging multiple datasets with different levels of supervision. We first train a deep neural network on a 6M stock image dataset with only image-level labels to learn visual-semantic embedding on 18K concepts. Then, we refine and extend the embedding network to predict an attention map, using a curated dataset with bounding box annotations on 750 concepts. Finally, we train an attention-driven class agnostic segmentation network using an 80-category fully annotated dataset. We perform extensive experiments to validate that the proposed system performs competitively to the state of the art on fully supervised concepts, and is capable of producing accurate segmentations for weakly learned and unseen concepts.

研究の動機と目的

• 階層的ラベル空間における重複するコンセプトのためのラベルの曖昧さとスケーラビリティの課題に対処する。
• 大規模かつ完全にアノテートされたデータセットの不足を補うために、分類固有のタスクではなく、コンセプト固有のタスクとしてセグメンテーションを定式化する。
• 弱教師ありの監視を用いて、オブジェクトパーツ、ストアフ、属性といった未学習のコンセプトに対してもゼロショットおよびフェイントショットセグメンテーションを可能にする。
• 複数のデータセットを、異なる監視レベルで統合する統一的かつ段階的な学習フレームワークを構築し、 catastrophic forgetting（深刻な忘却）を回避する。
• 再トレーニングなしに完全教師ありのコンセプトで競争力のある性能を達成するとともに、弱教師ありおよびゼロショットのコンセプトへの一般化を実現する。

提案手法

• 18,000個の意味的コンセプトの画像レベルラベルを用いて、600万枚のストック画像データセット上で深層ニューラルネットワークをトレーニングし、視覚的・意味的埋め込みを学習する。
• 750コンセプトのキュレート済みデータセットを用いて、ボクシングボックスアノテーションによるマルチタスクのファインチューニングにより、埋め込みネットワークを精緻化し、事前の知識を保持する。
• MS-COCOの80の完全にアノテートされたオブジェクトカテゴリを対象に、クラスに依存しないセグメンテーションネットワークをトレーニングし、アテンションマップを入力としてセグメンテーションをガイドする。
• 完全畳み込み型の推論パイプラインを採用：コンセプト埋め込み → コarseアテンションマップ → アテンション駆動ネットワークによる高解像度セグメンテーションマスク。
• 全モデルを再トレーニングすることなく、複数のデータセットからの監視信号を統合するインクリメンタル学習戦略を採用する。
• アテンションマップを活用することで、クラス固有の監視を必要とせず、空間的に関連する領域に注目することで、ゼロショットおよびフェイントショットセグメンテーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 完全にアノテートされたクラスの限定的なセットでトレーニングされたセグメンテーションモデルは、オブジェクトパーツ、ストアフ、属性といった未学習のコンセプトへ一般化できるか？
• RQ2 弱教師ありおよび半教師ありの学習フレームワークは、多様な意味的コンセプトにわたるゼロショットセグメンテーションをどの程度効果的に可能にするか？
• RQ3 画像レベルおよびボクシングボックスアノテーションは、完全にアノテートされていないコンセプトのセグメンテーション性能をどの程度向上させるか？
• RQ4 クラスに依存しないガイドラインとしてのアテンションマップは、パーツやストアフに対して、従来のクラス固有のボクシングボックス提案手法を上回るか？
• RQ5 完全教師ありのコンセプトで高い性能を維持しつつ、弱教師ありおよびゼロショットのコンセプトへも強力な一般化を実現できるか？

主な発見

• COCO-80で競争力のある性能を達成し、オブジェクトクラスでは平均IoUが0.603、ストアフでは0.625、パーツではWeak-Box-670ベンチマークで0.516を記録した。
• ZeroTest-10セット（1コンセプトあたり5〜10例のフェイントショット例）において、効果的に一般化され、強力なゼロショットセグメンテーション能力を示した。
• モデルは、たとえばパンツや角といったオブジェクトパーツ、あるいは木のラインや空といったストアフでさえ、明示的にそれらのカテゴリを学習していないにもかかわらず、正しくセグメンテーションした。
• アテンションネットワークにより、画像内にコンセプトが存在するか否かを正しく特定する概念検証が可能になった。ZeroTest-10およびWeak-Image-50の可視化結果から明らかである。
• DSS や Mask R-CNN といったベースラインモデルに比べ、特に非オブジェクトコンセプトにおいて、弱教師ありおよびゼロショットベンチマークで優れた性能を示した。
• コンセプトが視覚的に曖昧な場合（例：医薬品棚 vs. 棚）や、画像レベルラベルが不十分な場合（例：鳥がいるペルカ）に失敗ケースが発生し、弱教師ありの限界が浮き彫りになった。