[論文レビュー] CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation

Zicheng Zhang, Yi Zhu+3 more|arXiv (Cornell University)|Dec 4, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

CoupAlignは、語彙-画素整合と文-マスク整合を統合することで、オブジェクトマスク制約を強制する、参照画像セグメンテーションのための新しい多段階視覚的・意味的整合フレームワークを提案する。中間エンコーダ層での双方向クロスアテンションの統合と、文埋め込みに基づく重み付けされたマスク候補の使用により、RefCOCOでSOTA手法よりも2%の相対的向上を達成し、特に複数の類似オブジェクトが存在する状況でのターゲットの区別に優れる。

ABSTRACT

Referring image segmentation aims at localizing all pixels of the visual objects described by a natural language sentence. Previous works learn to straightforwardly align the sentence embedding and pixel-level embedding for highlighting the referred objects, but ignore the semantic consistency of pixels within the same object, leading to incomplete masks and localization errors in predictions. To tackle this problem, we propose CoupAlign, a simple yet effective multi-level visual-semantic alignment method, to couple sentence-mask alignment with word-pixel alignment to enforce object mask constraint for achieving more accurate localization and segmentation. Specifically, the Word-Pixel Alignment (WPA) module performs early fusion of linguistic and pixel-level features in intermediate layers of the vision and language encoders. Based on the word-pixel aligned embedding, a set of mask proposals are generated to hypothesize possible objects. Then in the Sentence-Mask Alignment (SMA) module, the masks are weighted by the sentence embedding to localize the referred object, and finally projected back to aggregate the pixels for the target. To further enhance the learning of the two alignment modules, an auxiliary loss is designed to contrast the foreground and background pixels. By hierarchically aligning pixels and masks with linguistic features, our CoupAlign captures the pixel coherence at both visual and semantic levels, thus generating more accurate predictions. Extensive experiments on popular datasets (e.g., RefCOCO and G-Ref) show that our method achieves consistent improvements over state-of-the-art methods, e.g., about 2% oIoU increase on the validation and testing set of RefCOCO. Especially, CoupAlign has remarkable ability in distinguishing the target from multiple objects of the same class.

研究の動機と目的

• オブジェクト内の画素の一貫性を無視することで生じる不完全なマスクと局所化エラーを是正すること。
• 微細な（語彙-画素）および粗い（文-マスク）レベルの両方で、明示的にオブジェクトマスク制約を強制することで、クロスモーダル整合性を向上させること。
• 同じクラスの複数のインスタンス（例：群衆の中の人物）が存在する状況で、ターゲットオブジェクトを明確に区別できるモデルの耐性を高めること。
• 参照オブジェクトの画素間における視覚的および意味的整合性を捉える階層的整合メカニズムを構築すること。

提案手法

• 中間の視覚的および言語的特徴間で双方向クロスアテンションを実行する語彙-画素整合（WPA）モジュールを導入し、早期融合を実現する。
• 語彙-画素整合特徴から複数のマスク候補を生成し、画像内の可能性のあるオブジェクトを表現する。
• 文埋め込みを用いてマスク候補に重みを付けることで、参照オブジェクトを局所化する文-マスク整合（SMA）モジュールを採用する。
• 重み付けされたマスクを再投影してターゲット画素を集約し、語彙-画素整合を精緻化するマスク制約を提供する。
• 前景画素と背景画素を区別する補助的コントラスト損失を設計し、語彙-画素および文-マスクレベルでの整合性を強化する。
• 予測を段階的に精緻化するため、WPAモジュールとSMAモジュールを交互に使用する階層的訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 語彙-画素および文-マスクの整合を統合することで、参照画像セグメンテーションにおけるマスク精度の向上と局所化エラーの低減が図れるか？
• RQ2 多段階の整合によりオブジェクトマスク制約を強制することで、複数の類似オブジェクトが存在する複雑なシーンにおける一般化性能が向上するか？
• RQ3 WPAによる早期クロスモーダル相互作用と、後期統合の性能および耐性は、どのように比較されるか？
• RQ4 補助的コントラスト損失は、整合性品質および最終的なセグメンテーション性能をどの程度向上させるか？
• RQ5 提案手法は、RefCOCO や G-Ref のような標準ベンチマークで、SOTAモデルを上回ることができるか？

主な発見

• CoupAlignは、先行SOTA手法と比較して、RefCOCOの検証およびテストセットでoIoUが2%絶対的に向上した。
• WPAモジュールを削除すると、oIoUが著しく4.3%低下（74.70%から70.43%）し、その重要性が示された。
• 双方向WPAを単方向アテンションに置き換えると、oIoUが2%低下（74.70%から72.70%）し、対称的クロスアテンションの利点が確認された。
• SMAモジュールは顕著な貢献を示し、削除するとoIoUが1.7%低下（74.70%から73.02%）した。これはマスク制約学習の有効性を示している。
• 補助的コントラスト損失を無効化すると、oIoUが1%向上（74.70%から73.70%）し、画素レベルの整合性向上に寄与することが証明された。
• 最終エンコーダステージ（ステージ4）のWPAモジュールが最も効果的であり、最後の2つのWPAモジュールを削除すると性能が2%低下した。