[論文レビュー] Position-Aware Contrastive Alignment for Referring Image Segmentation

Bo Chen, Zhiwei Hu+3 more|arXiv (Cornell University)|Dec 27, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、言語関連のオブジェクト位置情報と対照的学習を統合することでマルチモodal特徴のアライメントを向上させる、参照画像セグメンテーションのためのポジションアウェア対照的アライメントネットワーク（PCAN）を提案する。GLIPが生成するオブジェクト位置とデュアルデコーダー対照的モジュールを活用することで、推論コストを増加させることなくセグメンテーション精度を向上させ、3つのベンチマークでSOTA手法を上回る性能を達成した。

ABSTRACT

Referring image segmentation aims to segment the target object described by a given natural language expression. Typically, referring expressions contain complex relationships between the target and its surrounding objects. The main challenge of this task is to understand the visual and linguistic content simultaneously and to find the referred object accurately among all instances in the image. Currently, the most effective way to solve the above problem is to obtain aligned multi-modal features by computing the correlation between visual and linguistic feature modalities under the supervision of the ground-truth mask. However, existing paradigms have difficulty in thoroughly understanding visual and linguistic content due to the inability to perceive information directly about surrounding objects that refer to the target. This prevents them from learning aligned multi-modal features, which leads to inaccurate segmentation. To address this issue, we present a position-aware contrastive alignment network (PCAN) to enhance the alignment of multi-modal features by guiding the interaction between vision and language through prior position information. Our PCAN consists of two modules: 1) Position Aware Module (PAM), which provides position information of all objects related to natural language descriptions, and 2) Contrastive Language Understanding Module (CLUM), which enhances multi-modal alignment by comparing the features of the referred object with those of related objects. Extensive experiments on three benchmarks demonstrate our PCAN performs favorably against the state-of-the-art methods. Our code will be made publicly available.

研究の動機と目的

• 視覚的・言語的関係や周辺オブジェクトの理解が不十分なために生じる不正確なセグメンテーションの課題に対処すること。
• 言語的記述に関連するオブジェクト位置の事前知識を組み込むことでマルチモーダル特徴のアライメントを向上させること。
• マッチングヘッドに対照的学習の知識を転送することで、高い性能を維持しつつ推論コストを低減すること。
• 曖昧または類似するオブジェクトが存在する複雑なシーンにおいて、モデルの汎化性とロバスト性を向上させること。
• 追加の検出ヘッドを必要とせず、事前学習済みのビジョン・ランゲージ検出器を活用してより良い局在ガイドを得る手法を開発すること。

提案手法

• ポジションアウェアモジュール（PAM）はGLIPを用いて参照表現に関連する高品質なオブジェクト領域を抽出し、事前位置情報として提供する。
• 対照的言語理解モジュール（CLUM）は、重み共有の2つのデコーダーを採用する：1つは言語関連オブジェクト位置を用いた対照的学習用、もう1つはランダムなクエリを用いたマッチング用。
• CLUMでは、対照的学習が対照的デコーダーからマッチングデコーダーへ堅牢な特徴表現を転送することで、クエリ特徴の品質が向上する。
• モデルは、ポジションアウェアクエリをガイドとして視覚的・言語的特徴をアライメントするデュアルブランチクロスアテンション機構を用いる。
• 対照的損失は、参照オブジェクトと関連するがターゲットでないオブジェクトの間で適用され、識別性とアライメントの向上が図られる。
• 推論時、マッチングデコーダーのみが使用されるため、外部検出器の必要がなく、追加の計算コストを回避できる。

実験結果

リサーチクエスチョン

• RQ1 言語関連のオブジェクト位置情報の統合は、参照画像セグメンテーションにおけるマルチモーダル特徴のアライメントを向上させるか？
• RQ2 ポジションアウェア特徴に基づく対照的学習は、類似する干渉要因から参照オブジェクトを識別する能力をどのように向上させるか？
• RQ3 事前オブジェクト位置情報の統合は、推論複雑性を増加させることなく、より良いセグメンテーションパフォーマンスをもたらすか？
• RQ4 対照的学習モジュールにおけるポジティブおよびネガティブサンプルの最適な生成戦略は何か？
• RQ5 オブジェクトプロポーザルの数とグループ化戦略は、モデルのパフォーマンスと一般化能力にどのように影響するか？

主な発見

• PCANは、RefCOCO、RefCOCO+、Ref-YOLOの3つの標準ベンチマークでSOTA性能を達成し、先行手法に対して顕著な改善を示した。
• GLIPが生成するボックスをネガティブサンプルとして使用することで、ランダムネガティブサンプリングに比べ0.61%のパフォーマンス向上を達成し、関連オブジェクトの事前知識の有効性を示した。
• 条件付きネガティブサンプリング戦略は、非条件付きサンプリングに比べ0.47%のパフォーマンス向上をもたらし、より良いモデルのガイドラインであることを示した。
• K=6のオブジェクトプロポーザルとG=3のグループ数で最適なパフォーマンスが達成され、それ以上の設定ではパフォーマンスが飽和した。
• アブレーションスタディの結果、PAMとCLUMを併用することで最良の結果が得られ、ポジションアウェアネスと対照的学習の相補的利点が確認された。
• 可視化結果から、完全なモデルは特に類似オブジェクトが多数存在する複雑なシーンでも、より正確で頑健なセグメンテーションマスクを生成することがわかった。