[論文レビュー] Self-Guided and Cross-Guided Learning for Few-Shot Segmentation

Bingfeng Zhang, Jimin Xiao+1 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 10

ひとこと要約

本稿では、アノテーション付きサポート画像から主なおよび補助的サポートベクトルを抽出する自己ガイドモジュールを導入することで、マスク付きグローバル平均プーリング（GAP）による情報損失を軽減する、少数ショット画像セグメンテーションのための新規フレームワークSelf-Guided and Cross-Guided Learning（SCL）を提案する。さらに、サポート画像の品質に基づいて予測を適応的に統合するマルチショットセグメンテーション向けのクロスガイドモジュールを導入し、PASCAL-5i（1ショット時61.8% mIoU、5ショット時62.9%）およびCOCO-20i（1ショット時37.0%、5ショット時39.9%）で最先端の性能を達成している。

ABSTRACT

Few-shot segmentation has been attracting a lot of attention due to its effectiveness to segment unseen object classes with a few annotated samples. Most existing approaches use masked Global Average Pooling (GAP) to encode an annotated support image to a feature vector to facilitate query image segmentation. However, this pipeline unavoidably loses some discriminative information due to the average operation. In this paper, we propose a simple but effective self-guided learning approach, where the lost critical information is mined. Specifically, through making an initial prediction for the annotated support image, the covered and uncovered foreground regions are encoded to the primary and auxiliary support vectors using masked GAP, respectively. By aggregating both primary and auxiliary support vectors, better segmentation performances are obtained on query images. Enlightened by our self-guided module for 1-shot segmentation, we propose a cross-guided module for multiple shot segmentation, where the final mask is fused using predictions from multiple annotated samples with high-quality support vectors contributing more and vice versa. This module improves the final prediction in the inference stage without re-training. Extensive experiments show that our approach achieves new state-of-the-art performances on both PASCAL-5i and COCO-20i datasets.

研究の動機と目的

• 平均化によって特徴が失われるため、少数ショットセグメンテーションにおけるマスク付きグローバル平均プーリング（GAP）の顕著な制限を解消する。
• 標準的なGAPを用いる場合に1ショットセグメンテーションの性能が低下するのを防ぐために、自己ガイドメカニズムを用いて失われた前景情報のマイニングを行う。
• より高い品質の予測がより大きく寄与するように、複数のサポート画像の予測を適応的に統合することで、マルチショットセグメンテーションの性能を向上させる。
• モデルの再訓練やアーキテクチャの変更なしに、推論時に性能を向上させるためのクロスガイドモジュールを設計する。
• 標準的な少数ショットセグメンテーションベンチマークで、さまざまなベースラインに一般化可能な最先端の結果を達成する。

提案手法

• サポート画像に対してプロトタイプを用いて初期予測を実行し、その後マスク付きGAPを用いて主な（被掩蔽された）および補助的な（被掩蔽されていない）前景特徴ベクトルを抽出する自己ガイドモジュール（SGM）を提案する。
• 初期予測を監督するための二つのクロスエントロピー損失、$\mathcal{L}_{ce}^{s1}$ と、サポート画像をクエリとみなして補助ベクトルを精緻化するための $\mathcal{L}_{ce}^{s2}$ を用いてSGMを訓練する。
• 推論時において、主なおよび補助のサポートベクトルを統合することで、標準的なGAPベースのプロトタイプを上回るクエリ画像のセグメンテーションを実現する。
• 推論時において、他のサポート画像を参照として用いて、各サポート画像からの予測の品質を評価するクロスガイドモジュール（CGM）を導入する。
• 再訓練なしに、より高い品質のサポート画像からの予測がより大きな寄与をもたらすように重み付き統合戦略を適用する。
• SGMからの組み合わせたサポートベクトルをクエリネットワークの入力として用いることで、より豊富な特徴統合を実現し、セグメンテーション性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 サポート画像の初期予測を活用することで、マスク付きGAPで失われた特徴情報を回復できるか？
• RQ2 被掩蔽および被掩蔽でない前景領域を、セグメンテーション精度の向上に寄与する形で効果的に表現できるか？
• RQ3 マルチショットセグメンテーションにおいて、複数のサポート画像の予測を動的かつ品質に依存して統合することは、単純な平均化を上回るか？
• RQ4 再訓練やアーキテクチャ変更なしに、推論時モジュールがセグメンテーション性能を向上させられるか？
• RQ5 提案されたSGMおよびCGMは、標準的な少数ショットセグメンテーションベンチマークで、どれほど最先端の性能を向上させられるか？

主な発見

• 提案された自己ガイドモジュール（SGM）は、初期サポートベクトルのみを用いても、ベースライン比で1ショットセグメンテーションのmIoUを2.1%、FB-IoUを4.1%向上させる。
• PASCAL-5iでは、SCLフレームワーク全体で5ショットセグメンテーションにおいて59.2%のmIoUを達成し、平均統合を用いたベースライン比で3.3%の向上を示した。
• SGMと組み合わせた場合、クロスガイドモジュール（CGM）は平均統合よりmIoUを0.5%向上させ、推論時における精緻化の有効性を示した。
• SGMにおいて $v_{pri}$ と $v_{aux}$ ベクトルを併用すると57.5%のmIoUを達成し、個別利用やベースラインを大きく上回り、両者の相補性を裏付けた。
• アブレーションスタディにより、$\mathcal{L}_{ce}^{s1}$ と $\mathcal{L}_{ce}^{s2}$ の両方が不可欠であることが確認された。両方を用いないとmIoUが1.9%低下する。
• 本手法は、PASCAL-5i（1ショット時61.8% mIoU、5ショット時62.9%）およびCOCO-20i（1ショット時37.0%、5ショット時39.9%）で、推論時に再訓練を必要とせずに、新たな最先端の結果を達成した。