[論文レビュー] Towards Robust Referring Image Segmentation

Jianzong Wu, Xiangtai Li+4 more|arXiv (Cornell University)|Sep 20, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本稿では、存在しない対象物を指す誤りまたは誤解を招くテキスト記述に対しても耐性を持つよう拡張された、ロバスト参照画像セグメンテーション（R-RIS）という新しいタスクを紹介する。著者らは、視覚言語トークン統合モジュールと空白トークン設計を備えたトランスフォーマー基盤のモデル、RefSegformerを提案し、標準的およびロバストなRISベンチマークの両方で最先端の性能を達成した。新たな指標（rIoUおよびmRR）を用いて評価した。

ABSTRACT

Referring Image Segmentation (RIS) is a fundamental vision-language task that outputs object masks based on text descriptions. Many works have achieved considerable progress for RIS, including different fusion method designs. In this work, we explore an essential question, ``What if the text description is wrong or misleading?'' For example, the described objects are not in the image. We term such a sentence as a negative sentence. However, existing solutions for RIS cannot handle such a setting. To this end, we propose a new formulation of RIS, named Robust Referring Image Segmentation (R-RIS). It considers the negative sentence inputs besides the regular positive text inputs. To facilitate this new task, we create three R-RIS datasets by augmenting existing RIS datasets with negative sentences and propose new metrics to evaluate both types of inputs in a unified manner. Furthermore, we propose a new transformer-based model, called RefSegformer, with a token-based vision and language fusion module. Our design can be easily extended to our R-RIS setting by adding extra blank tokens. Our proposed RefSegformer achieves state-of-the-art results on both RIS and R-RIS datasets, establishing a solid baseline for both settings. Our project page is at \url{https://github.com/jianzongwu/robust-ref-seg}.

研究の動機と目的

• 誤ったまたは誤解を招くテキスト記述に直面した際の、既存の参照画像セグメンテーション（RIS）モデルの耐性の欠如に対処すること。
• 非存在対象（存在しない対象）を指す表現を明示的に処理する新しいタスク定式化、ロバストRIS（R-RIS）を提案すること。
• 既存のRISデータセットに多様な否定文を追加することで、3つの新しいR-RISデータセットを構築すること。
• 分類精度と耐性の両方を評価するための新しい指標（ロバストIoU（rIoU）および平均ロバストリコール（mRR））を設計・評価すること。
• 視覚言語トークン統合モジュールと空白トークン機構を備えたトランスフォーマー基盤のモデル、RefSegformerを設計し、R-RISの強力なベースラインを提供すること。

提案手法

• 非存在対象（存在しない対象）のテキスト入力に対して空白マスクを出力し、肯定的入力に対しては正しくマスクを出力するよう要求する、R-RISという新しいタスク定式化を提案する。
• RefCOCO、RefCOCO+、RefCOCOgに、5つの生成手法（ランダム置換、名前置換、対象物変更、属性変更、関係性変更）を用いて、1参照あたり10個の否定文を追加することで、3つのR-RISベンチマークを構築する。
• 2つの評価指標を導入する：ピクセルレベルの耐性と精度を測るロバストIoU（rIoU）、および否定入力におけるインスタンスレベルの耐性を測る平均ロバストリコール（mRR）。
• 視覚エンコーダ、言語エンコーダ、および視覚言語トークン統合（VLTF）モジュールを備えたトランスフォーマー基盤のモデル、RefSegformerを設計する。VLTFモジュールはメモリトークンを用いて関連する言語特徴を動的に選択する。
• 言語特徴と相互作用しない空白トークンを統合機構に組み込み、存在する対象の検出と非存在対象の同定を分離可能にする。
• 多頭部クロスアテンション（MHCA）を用いて、VLTFモジュールを通じて視覚的および言語的表現に注目させ、モデルが関連する視覚的および言語的表現に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 参照画像セグメンテーションモデルは、画像内に存在しない対象を指す誤ったまたは誤解を招くテキスト記述に対して、どのようにして耐性を持たせることができるか？
• RQ2 ロバストRISモデルのベンチマーク化に適した、多様かつ現実的な否定的参照表現を効果的に生成する方法は何か？
• RQ3 分類精度と否定入力に対する耐性の両方を同時に測定できるように、評価指標をどのように設計できるか？
• RQ4 RefSegformerのような統合的トランスフォーマー基盤アーキテクチャは、標準的RISと新規のR-RISタスクの両方を効果的に処理し、性能を向上させることができるか？
• RQ5 統合機構に空白トークンを組み込むことで、標準的な統合モジュールと比較して、モデルの耐性はどのように向上するか？

主な発見

• RefSegformerは、標準的RISおよび新規に導入されたR-RISベンチマークの両方で、6つのデータセットで最先端の性能を達成した。
• 提案されたVLTF統合モジュールは、mRRおよびrIoU指標においてPWAN + LPを上回り、否定入力に対する優れた耐性を示した。
• VLTFを搭載したRefSegformerは、R-RISベンチマークで46.08のrIoUおよび73.73のmRRを達成し、否定入力への一般化に失敗するベースラインを著しく上回った。
• 失敗事例から、モデルは類似した形状（例：シロナガスクジラをシロクジラと誤認）をもつ対象を指す否定文に対して苦労していることが示され、形状および文脈の一般化の向上が求められることがわかった。
• 1インスタンスあたり10個の否定文を含む、新規のR-RISベンチマークは、1対の否定ペアのみを含むベンチマークよりも、モデルの耐性をより厳密にテストできる。
• rIoUおよびmRR指標は、分類精度と耐性の両方を効果的に捉えており、R-RISモデルの統合的評価フレームワークを提供している。