[論文レビュー] MMNet: Multi-Mask Network for Referring Image Segmentation

Yichen Yan, Xingjian He+2 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

MMNetは、参照表現の多様な解釈を考慮した複数のセグメンテーションマスクを生成するマルチマスクネットワークを提案する。CLIPのグローバルおよび細分化特徴を活用することで、曖昧さを低減し、学習された重みによるマスク統合により、RefCOCO、RefCOCO+、G-Refでpost-processingなしに最先端の性能を達成する。

ABSTRACT

Referring image segmentation aims to segment an object referred to by natural language expression from an image. However, this task is challenging due to the distinct data properties between text and image, and the randomness introduced by diverse objects and unrestricted language expression. Most of previous work focus on improving cross-modal feature fusion while not fully addressing the inherent uncertainty caused by diverse objects and unrestricted language. To tackle these problems, we propose an end-to-end Multi-Mask Network for referring image segmentation(MMNet). we first combine picture and language and then employ an attention mechanism to generate multiple queries that represent different aspects of the language expression. We then utilize these queries to produce a series of corresponding segmentation masks, assigning a score to each mask that reflects its importance. The final result is obtained through the weighted sum of all masks, which greatly reduces the randomness of the language expression. Our proposed framework demonstrates superior performance compared to state-of-the-art approaches on the two most commonly used datasets, RefCOCO, RefCOCO+ and G-Ref, without the need for any post-processing. This further validates the efficacy of our proposed framework.

研究の動機と目的

• 多様な物体と制約のない言語表現に起因する参照画像セグメンテーションにおける本質的なランダム性に対処する。
• 単一の特徴統合に依存し、言語の意味的曖昧さを十分にモデル化できない従来手法の限界を克服する。
• CLIPの事前学習済みの視覚言語表現を活用して、クロスモodalな整合性と特徴の豊かさを向上させる。
• 異なる言語クエリ解釈に対応する複数のマスクを生成・統合することで、セグメンテーションのロバスト性を向上させる。
• 標準ベンチマークでpost-processingなしに最先端の性能を達成する。

提案手法

• CLIPを用いて、画像表現を強化するためのグローバル視覚特徴（$f_{vg}$）と細分化視覚特徴（$f_{vd}$）を抽出する。
• マルチクエリ推定器（$f_{vg}$）を用いて、言語表現から複数のクエリを生成し、それぞれがテキストの異なる意味的側面を捉えるようにする。
• 各クエリに対して、マルチマスクプロジェクタを用いて対応するセグメンテーションマスクを生成し、同じ表現の多様な解釈を可能にする。
• 学習可能なアテンションメカニズムを用いて、各マスクにスコアを割り当て、その関連性と信頼度を反映させる。
• スコアが各マスクの最終出力への寄与度を決定する重み付き和により、すべてのマスクを統合する。
• グランドトゥークマスクの交差エントロピー損失を用いて、post-processingなしにエンドツーエンドで全ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 参照表現の多様な解釈から複数のマスクを生成することで、曖昧さを低減し、セグメンテーション精度を向上させることができるか？
• RQ2 CLIPのグローバルおよび細分化視覚特徴抽出は、参照画像セグメンテーションの向上にどの程度効果的か？
• RQ3 複数のマスクを重み付きで統合することは、言語のランダム性に対処する上で単一マスク生成を上回るか？
• RQ4 マルチクエリ推定器およびマルチマスクプロジェクタのコンポーネントは、全体の性能にどの程度寄与しているか？
• RQ5 提案手法は、標準ベンチマークでpost-processingなしに最先端の結果を達成できるか？

主な発見

• MMNetはRefCOCO+ testAで68.14のIoUを達成し、post-processingなしに従来の最先端手法を上回った。
• アブレーションスタディの結果、マルチクエリ推定器を削除すると性能が1.23ポイント低下し、マスク重み付けにおけるその重要性が確認された。
• グローバル視覚特徴（$f_{vg}$）を削除するとIoUが1.23ポイント低下し、CLIPのグローバル表現が果たす重要な役割が示された。
• クエリ数$N_q = 24$のマルチマスクプロジェクタが最良の性能を示し、より高いクエリ多様性がロバストネスを向上させることを示した。
• 可視化結果から、MMNetはベースラインとは異なり、曖昧な物体（例：フォークあり vs. なしのサンドイッチ）を効果的に区別できていることが確認された。
• 本手法は複数のデータセットにわたって一般化が良く、RefCOCO、RefCOCO+、G-Refで新規の最先端結果を達成し、有効性とロバストネスを裏付けた。