[論文レビュー] Objectness-Aware One-Shot Semantic Segmentation

Yinan Zhao, Brian Price+2 more|arXiv (Cornell University)|Apr 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 5

ひとこと要約

本論文では、1つの新しいカテゴリのアノテート済み例しか利用できない状況でも、セグメンテーション精度を向上させるために事前学習済みのオブジェクトネスモジュールを活用する、オブジェクトネスに配慮した少数ショットセマンティックセグメンテーションモデルを提案する。少数ショット学習とオブジェクトネス予測を統合することで、PASCAL-5iで57.9%のmIoU、COCO-20iで22.6%のmIoUを達成し、既存のベースラインを上回った。

ABSTRACT

While deep convolutional neural networks have led to great progress in image semantic segmentation, they typically require collecting a large number of densely-annotated images for training. Moreover, once trained, the model can only make predictions in a pre-defined set of categories. Therefore, few-shot image semantic segmentation has been explored to learn to segment from only a few annotated examples. In this paper, we tackle the challenging one-shot semantic segmentation problem by taking advantage of objectness. In order to capture prior knowledge of object and background, we first train an objectness segmentation module which generalizes well to unseen categories. Then we use the objectness module to predict the objects present in the query image, and train an objectness-aware few-shot segmentation model that takes advantage of both the object information and limited annotations of the unseen category to perform segmentation in the query image. Our method achieves a mIoU score of 57.9% and 22.6% given only one annotated example of an unseen category in PASCAL-5i and COCO-20i, outperforming related baselines overall.

研究の動機と目的

• 少数ショットセマンティックセグメンテーションモデルが大規模なアノテート済みデータセットを必要とするという制限を解決すること。
• 新しい未観測カテゴリに対して、1つのアノテート済み例しか利用できない状況でもセグメンテーション性能を向上させること。
• オブジェクトネスの事前知識（オブジェクトの存在と位置に関する知識）を活用して、少数ショット一般化を向上させること。
• オブジェクトネス予測と少数ショットセグメンテーションを統合した包括的なフレームワークを構築し、精度を向上させること。

提案手法

• 大規模なデータセットで事前学習された別個のオブジェクトネスセグメンテーションモジュールを用いて、オブジェクトとバックグラウンドを検出・局所化する。
• 少数ショットセグメンテーションの前に、クエリ画像におけるオブジェクト候補をオブジェクトネスモジュールで予測する。
• オブジェクトネスに配慮した少数ショットセグメンテーションモデルを訓練し、オブジェクト領域に注目し、新しいカテゴリの限られたアノテーションを活用する。
• オブジェクトネス予測とサポート画像の特徴を融合させ、クエリ画像のセグメンテーションマスクを精緻化する。
• サポート画像とクエリ画像の特徴をアライメントするためのアテンション機構を備えたデュアルブランチネットワークを用い、オブジェクトネスガイダンスを活用する。
• PASCAL-5iおよびCOCO-20iでエンドツーエンドに訓練し、オブジェクトネスとセグメンテーション精度の両方を最適化する損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 1つの新しいカテゴリの例しか利用できない状況で、オブジェクトネス事前知識が少数ショットセマンティックセグメンテーション性能を向上させるか。
• RQ2 オブジェクトネス予測を統合することで、モデルの新しいカテゴリの検出・セグメンテーション能力にどのような影響を与えるか。
• RQ3 事前学習済みのオブジェクトネスモジュールを用いることで、標準的な少数ショットセグメンテーション手法と比較して、未観測カテゴリへの一般化性能が向上するか。
• RQ4 どの程度、オブジェクトネスガイダンスによって大規模な高密度アノテーションの必要性が低減されるか。

主な発見

• 提案手法は、新しいカテゴリごとに1つのアノテート済み例しか使用しないPASCAL-5iベンチマークで、平均交差率（mIoU）57.9%を達成した。
• COCO-20iデータセットでは、1つのサポート例を用いてmIoUが22.6%に達し、既存のベースラインを上回った。
• オブジェクトネス事前知識の統合により、特に小さなオブジェクトや曖昧なオブジェクトのセグメンテーション精度が顕著に向上した。
• 事前学習済みのオブジェクトネスモジュールは未観測カテゴリにうまく一般化され、新しいクラスに対する膨大なファインチューニングの必要性が低減された。