[論文レビュー] Referring Image Segmentation Using Text Supervision

Fang Liu, Yuhao Liu+6 more|arXiv (Cornell University)|Aug 28, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、ピクセルレベルやボックスレベルのアノテーションを一切不要とする弱教師付き参照画像セグメンテーション（RIS）フレームワークを提案する。対象オブジェクトを正例（正しい）と遠方のオブジェクトを負例（誤り）とするテキスト表現の二値分類タスクとして局所化を定式化することで、二重プロンプト、応答マップ補正、正例応答マップ選択を用いて高品質な偽ラベルを生成し、4つのベンチマークで完全教師あり手法と同等の性能を達成した。

ABSTRACT

Existing Referring Image Segmentation (RIS) methods typically require expensive pixel-level or box-level annotations for supervision. In this paper, we observe that the referring texts used in RIS already provide sufficient information to localize the target object. Hence, we propose a novel weakly-supervised RIS framework to formulate the target localization problem as a classification process to differentiate between positive and negative text expressions. While the referring text expressions for an image are used as positive expressions, the referring text expressions from other images can be used as negative expressions for this image. Our framework has three main novelties. First, we propose a bilateral prompt method to facilitate the classification process, by harmonizing the domain discrepancy between visual and linguistic features. Second, we propose a calibration method to reduce noisy background information and improve the correctness of the response maps for target object localization. Third, we propose a positive response map selection strategy to generate high-quality pseudo-labels from the enhanced response maps, for training a segmentation network for RIS inference. For evaluation, we propose a new metric to measure localization accuracy. Experiments on four benchmarks show that our framework achieves promising performances to existing fully-supervised RIS methods while outperforming state-of-the-art weakly-supervised methods adapted from related areas. Code is available at https://github.com/fawnliu/TRIS.

研究の動機と目的

• 完全教師ありRISにおける高いアノテーションコストを低減するため、ピクセルレベルやボックスレベルのアノテーションを排除すること。
• 既存の参照テキスト記述を唯一の監視信号として用いてRISモデルを学習すること。
• 背景ノイズの低減と応答マップ品質の向上により、弱教師ありRISにおける局所化精度を向上させること。
• 従来のポイントゲームメトリクスに比べてボックス内誤差を低減する新しい評価指標を開発すること。
• 追加のアノテーションなしに、テキスト表現のみを用いて高品質なセグメンテーションを達成できることを示すこと。

提案手法

• RISを二値分類タスクとして定式化：対象オブジェクトを記述するテキスト（正例）と、他の画像のオブジェクトを記述するテキスト（負例）を区別する。
• 視覚的・言語的特徴の整合性を高めるために、両モalityストリームにプロンプトを適用する二重プロンプト法を導入し、ドメイン差を低減する。
• 学習可能なアテンション機構を用いて応答マップの前景応答を強化し、背景ノイズを抑制する補正手法を提案する。
• 同じオブジェクトを記述する複数のクエリから最も判別力のある応答マップを選択する正例応答マップ選択（PRMS）戦略を設計し、高品質な偽ラベルを生成する。
• 二段階パイプラインでセグメンテーションネットワークを学習：まず応答マップを生成し、次にセグメンテーション予測を精緻化する。
• 予測応答点と真値応答点の距離を測定することでボックス内誤差を低減する新しい局所化メトリクス（PointM）を採用する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルやボックスレベルのアノテーションが一切不要な状態で、テキスト記述のみを用いて参照画像セグメンテーションを効果的に学習できるか？
• RQ2 モデルは画像間のテキスト比較をどのように活用し、局所化のロバスト性を高め、誤検出を低減できるか？
• RQ3 応答マップ補正と正例マップ選択は、偽ラベル品質と下流のセグメンテーション性能をどの程度向上できるか？
• RQ4 提案されたPointMメトリクスは、従来のポイントゲームメトリクスに比べてどのように局所化精度をより正確に評価できるか？
• RQ5 モデル性能と一般化性能のバランスを考慮した場合、最適な負例クエリ数と補正モジュールのパラメータ（K）は何か？

主な発見

• 提案手法は4つのRISベンチマークで競争力のある性能を達成し、完全教師あり手法と同等か、それを上回る結果を示したが、監視信号はテキスト記述のみである。
• RefCOCO+ベンチマークでは24.48%のIoUを達成し、正例応答マップ選択を実施しないベースライン（22.31%）と比較して2.17%の絶対的向上を示した。
• 正例応答マップ選択（PRMS）戦略により、挑戦的とされるRefCOCO+セットにおいてIoUが約10%向上し、最適な応答マップの選択が有効であることが実証された。
• 48個の負例クエリと補正モジュールのK=6が最適であり、過剰な負例サンプルはクラス不均衡のため性能低下を引き起こすことが判明した。
• 新しいPointMメトリクスは、標準のポイントゲームメトリクスに比べてボックス内誤差を低減し、局所化精度の評価をより正確に可能にした。
• 失敗事例から、類似意味的背景オブジェクトや隠蔽されたターゲットの処理に限界があることが判明し、構造的言語的推論を統合した今後の研究の余地が示唆された。