[論文レビュー] Few-Shot Segmentation with Global and Local Contrastive Learning

Weide Liu, Zhonghua Wu+5 more|arXiv (Cornell University)|Aug 11, 2021

Advanced X-ray and CT Imaging参考文献 34被引用数 14

ひとこと要約

本論文では、クエリ画像の事前知識をグローバルおよびローカルな対照的学習を用いて独立して抽出することで、クエリ特徴の学習をサポート画像から分離する、少数ショットセグメンテーション手法であるQuery Guided Network (QG-Net) を提案する。ラベルなしのクエリ画像を用いて、グローバルとローカルの対照的損失を統合して訓練することで、事前知識抽出器を学習し、情報豊富な事前知識領域マップを生成することで、サポート特徴とのクロスアテンションを強化する。PASCAL-5iおよびCOCOデータセットにおいて、追加の装飾なしに、新たな最先端性能を達成した。

ABSTRACT

In this work, we address the challenging task of few-shot segmentation. Previous few-shot segmentation methods mainly employ the information of support images as guidance for query image segmentation. Although some works propose to build cross-reference between support and query images, their extraction of query information still depends on the support images. We here propose to extract the information from the query itself independently to benefit the few-shot segmentation task. To this end, we first propose a prior extractor to learn the query information from the unlabeled images with our proposed global-local contrastive learning. Then, we extract a set of predetermined priors via this prior extractor. With the obtained priors, we generate the prior region maps for query images, which locate the objects, as guidance to perform cross interaction with support features. In such a way, the extraction of query information is detached from the support branch, overcoming the limitation by support, and could obtain more informative query clues to achieve better interaction. Without bells and whistles, the proposed approach achieves new state-of-the-art performance for the few-shot segmentation task on PASCAL-5$^{i}$ and COCO datasets.

研究の動機と目的

• 従来の少数ショットセグメンテーション手法がサポート画像のガイダンスに依存するのみで、クエリ画像固有の手がかりを十分に活用できないという限界を解消すること。
• クエリ特徴の学習をサポートブランチの依存関係から分離することで、少数ショットセグメンテーションの一般化性能を向上させること。
• ラベルなしのクエリ画像から、判別的なオブジェクトレベルの表現を学習する自己教師付き事前知識抽出器を開発すること。
• 独立して学習された事前知識領域マップを用いて、クエリとサポート特徴間のクロスアテンションを強化すること。

提案手法

• ラベルなしのクエリ画像に対して、グローバルおよびローカルな対照的学習を組み合わせて訓練することで、事前知識抽出器を学習し、事前に定義されたオブジェクト事前知識を抽出する。
• グローバル対照的損失は、同じ画像の異なる増幅画像間の特徴距離を最小化することで、グローバル表現を学習する。
• ローカル対照的損失は、Slicを用いて生成された画像パッチに適用され、同じ画像内に存在する異なるオブジェクトを区別するため、局所的特徴の識別性を高める。
• 事前知識抽出器は、サポート画像とは独立して、クエリ画像内の潜在的なオブジェクト位置を強調する事前知識領域マップを生成する。
• これらの事前知識領域マップは、サポート特徴とのクロスアテンションをガイドし、相互作用の質を向上させる。
• 本手法は、VGG16、ResNet50、ResNet101のバックボーンを用い、評価に321×321および473×473の画像サイズを採用している。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照的学習は、サポートに依存する手法と比較して、少数ショットセグメンテーションにおけるより情報豊かなクエリ事前知識を抽出できるか？
• RQ2 クエリ特徴の学習をサポート画像から分離することで、セグメンテーション性能および一般化性能が向上するか？
• RQ3 グローバルおよびローカルな対照的学習の各コンponentは、個別および統合的に事前知識表現の質にどのように寄与するか？
• RQ4 パッチ生成手法（例：Slic 対 Felzenszwalb）のうち、どの手法が事前知識学習に最も判別力のある局所的特徴をもたらすか？
• RQ5 事前知識領域マップは、ガイド付き領域マップと比較して、どれくらいの範囲で正例オブジェクト領域と重複するか？

主な発見

• 提案手法は、PASCAL-5iデータセットにおいて、バックボーンおよび画像サイズのすべての設定で、従来のSOTA手法を上回る新たな最先端性能を達成した。
• MS COCOデータセットでは、1ショットおよび5ショット設定において、PFENetよりもそれぞれ5.9%および7.4%高いmIoUを達成したが、入力サイズが473×473とやや小さいにもかかわらずである。
• パッチ生成にSlicを用いることで、Felzenszwalbの手法よりも高い性能が得られ、事前知識抽出器の訓練を1000エポック行うことで最適な結果が得られた。
• 事前知識領域マップの再現率（Recall_p,gt）は、ガイド付き領域マップの再現率（Recall_g,gt）を上回っており、事前知識マップがより多くの正例オブジェクト領域をカバーしていることを示している。
• アブレーションスタディにより、グローバルおよびローカルの対照的損失を併用することで最良の性能が得られ、両者の補完的役割が明確に示された。
• 失敗事例の分析から、外観が類似したオブジェクト（例：人間とテディベア）の区別に限界があり、小規模オブジェクトの検出が困難であることが判明し、細分化および小スケール認識における課題が浮き彫りになった。