[論文レビュー] Probing Image-Language Transformers for Verb Understanding

Lisa Anne Hendricks, Aida Nematzadeh|arXiv (Cornell University)|Jun 16, 2021

Multimodal Machine Learning Applications参考文献 26被引用数 4

ひとこと要約

本稿では、主語、動詞、目的語のうちいずれか1つだけが異なる制御されたネガティブ例を備えた、48,000組の画像-文ペアからなるベンチマーク「SVO-Probes」を紹介する。このベンチマークは、画像・言語トランスフォーマーにおける動詞理解の評価を目的としている。強力な下流性能を示す一方で、モデルは動詞の不一致に対して最も失敗し、意味的に無関係なペアに対しても誤って一致すると予測してしまう傾向にあり、ノイズの多いConceptual Captionsの学習データでは、より綺麗なMSCOCOデータよりも性能が劣ることが判明した。これは、動詞レベルにおけるマルチモーダル理解に顕著なギャップが存在することを示している。

ABSTRACT

Multimodal image-language transformers have achieved impressive results on a variety of tasks that rely on fine-tuning (e.g., visual question answering and image retrieval). We are interested in shedding light on the quality of their pretrained representations -- in particular, if these models can distinguish different types of verbs or if they rely solely on nouns in a given sentence. To do so, we collect a dataset of image-sentence pairs (in English) consisting of 421 verbs that are either visual or commonly found in the pretraining data (i.e., the Conceptual Captions dataset). We use this dataset to evaluate pretrained image-language transformers and find that they fail more in situations that require verb understanding compared to other parts of speech. We also investigate what category of verbs are particularly challenging.

研究の動機と目的

• 画像・言語トランスフォーマーが、特に動詞に関して、マルチモーダルな文脈において微細な言語的差異を区別できるかを調査すること。
• モデルが言語の事前知識に依存しているのか、それとも動詞と画像の間の意味的関係を真正に理解しているのかを評価すること。
• 学習データの質（ノイズあり vs. クリア）が、視覚言語モデルにおける動詞理解に与える影響を比較すること。
• 現在のモデルが最も困難に感じている動詞のカテゴリを特定すること。

提案手法

• 主語、動詞、目的語が明示的にアノテートされた48,100組の画像-文ペアを含む、SVO-Probesと呼ばれる新しいベンチマークを構築。ネガティブ例は、主語、動詞、目的語のうちいずれか1つだけが異なるように制御されている。
• 各ネガティブ例が、たとえば動詞のみが異なるなど、1つの側面のみが異なるように画像-文ペアを設計。これにより、モデルの理解度を正確にプローブできる。
• 事前学習済み重みを用いたゼロショット設定で、複数の画像・言語トランスフォーマーのアーキテクチャ（例：MMT）を評価し、画像-文ペアの一致を分類する。
• ノイズの多いConceptual Captions（300万ペア）と、より綺麗で手動アノテーション済みのMSCOCO（12万ペア）という2つの学習データセットで微調整したモデルを比較。
• 分類精度を主語、動詞、目的語のネガティブ例ごとに分析することで、性能差を特定するためのアブレーションスタディを実施。
• 147の頻出動詞（各動詞に30個以上のネガティブ例がある）について、ネガティブペアの精度を測定し、難易度の高い動詞と易しい動詞を特定。

実験結果

リサーチクエスチョン

• RQ1 画像・言語トランスフォーマーは、動詞のみが異なる画像-文ペアを正確に区別できるか。これは、真の動詞理解を示唆する。
• RQ2 より大きなが、ノイズの多いデータセット（Conceptual Captions）で学習させると、より小さなが、クリアなデータセット（MSCOCO）で学習させた場合に比べ、動詞理解が劣化するか。
• RQ3 意味的に関連はあるが誤った画像-文ペア（特に動詞が誤っているもの）に対して、モデルが一致を過剰に予測する傾向があるか。
• RQ4 どの動詞カテゴリがモデルにとって最も困難であるか。また、それらの動詞が困難である理由となる性質は何か。
• RQ5 既存のデータセット（例：imSitu）で「視覚的」とラベル付けされた動詞は、このベンチマークでより良い性能を示すか。

主な発見

• 画像・言語トランスフォーマーは、動詞関連のネガティブ例に対して最も悪い性能を示し、ネガティブペアの精度はわずか39.5%にとどまり、主語（52.4%）や目的語（73.4%）の精度よりも顕著に低い。
• Conceptual Captions（CC）で学習したモデルはSVO-Probesで全体で64.3%の精度を達成したが、MSCOCOで学習したモデルは68.0%を達成した。MSCOCOは規模が小さく、多様性も低いにもかかわらず、この結果となった。
• MSCOCOで学習したMMTモデルは、CCで事前学習したモデルよりもネガティブペア分類で優れており、特に動詞の分類において顕著な差が見られた。これは、クリアなデータで学習することで、意味的不一致に対する感受性が高まるということを示している。
• モデルは、画像と文がわずかにしか関係のないペアに対しても、一致を過剰に予測している。これは、動詞が一致しなくても意味的に妥当なペアを関連づける学習をした可能性を示唆している。
• 『cut』『argue』『break』といった動詞は、最も分類が困難な部類に属し、一方で『tackle』『lead』『surround』は比較的容易である。これは、意味的・知覚的複雑さがモデルの性能に影響を与えることを示している。
• 予想に反し、imSituで「視覚的」とラベル付けされた動詞は、視覚的でない動詞よりもモデルの分類精度が低かった。これは、視覚性そのものがモデル性能を予測する要因とはならないことを示している。