[論文レビュー] WinoGAViL: Gamified Association Benchmark to Challenge Vision-and-Language Models

Yonatan Bitton, Nitzan Bitton Guetta+5 more|arXiv (Cornell University)|Jul 25, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、Codenamesにインspiredされたオンラインゲームを用いて、AIモデルにとって挑戦的だが人間にとっては直感的な視覚・言語関連性を収集するゲーム化されたベンチマーク、WinoGAViLを紹介する。このフレームワークにより、3.5K件のインスタンスが収集され、人間の正解率は90%以上を記録するが、最良のモデル（ViLT）は52%にとどまる。これは、視覚・言語モデルにおける共通知識や関連的推論の向上が求められることを示している。

ABSTRACT

While vision-and-language models perform well on tasks such as visual question answering, they struggle when it comes to basic human commonsense reasoning skills. In this work, we introduce WinoGAViL: an online game of vision-and-language associations (e.g., between werewolves and a full moon), used as a dynamic evaluation benchmark. Inspired by the popular card game Codenames, a spymaster gives a textual cue related to several visual candidates, and another player tries to identify them. Human players are rewarded for creating associations that are challenging for a rival AI model but still solvable by other human players. We use the game to collect 3.5K instances, finding that they are intuitive for humans (>90% Jaccard index) but challenging for state-of-the-art AI models, where the best model (ViLT) achieves a score of 52%, succeeding mostly where the cue is visually salient. Our analysis as well as the feedback we collect from players indicate that the collected associations require diverse reasoning skills, including general knowledge, common sense, abstraction, and more. We release the dataset, the code and the interactive game, allowing future data collection that can be used to develop models with better association abilities.

研究の動機と目的

• 対象認識をはるかに超えた共通知識および関連的推論を評価する、動的で人間を含むループ型のベンチマークを開発すること。
• 視覚的顕著性だけでなく、一般知識、抽象的思考、文化的理解を必要とする高品質で多様な関連性を収集すること。
• スパイマスターがAIモデルを混乱させるが人間には解けるようなキーワードを生成するインcentivizedなゲームメカニズムを用いた、スケーラブルなデータ収集フレームワークを構築すること。
• データセット、コード、インタラクティブゲームを公開し、マルチモodalな共通知識推論に関する今後の研究を可能にすること。

提案手法

• WinoGAViLゲームフレームワークは、スパイマスターが画像のセットに対してテキスト的キーワードを生成する。その目的は、相手のAIモデルを混乱させつつ、人間には解けるようにすること。
• スパイマスターは、そのキーワードに対するAIモデル（例：CLIP RN50）の逆性能に基づいて報酬を得る。これにより、非自明な関連性の生成が促進される。
• 3名のヒューマンソルバーがキーワードに基づいて正しい画像を特定しようと試みる。スパイマスターは人間のパフォーマンスに基づいて報酬を得るため、自然で直感的な関連性が保証される。
• データセットは、クラウドワーカーがゲームインターフェースを介して収集され、複数の画像セットとキーワードタイプをカバーする3.5K件のインスタンスが得られた。
• ベンチマークでは、予測された画像選択と正解との一致度を測るためのジャカード係数が使用され、スコアが高くなるほど予測と正解の整合性が高いことを示す。
• SWOW（手作業で作成されたテキスト的関連性リソース）を用いたベースラインと比較することで、ゲーム化されたデータがAIモデルに与える挑戦性の優位性を示している。

実験結果

リサーチクエスチョン

• RQ1 ゲーム化されたデータ収集フレームワークは、最先端のAIモデルにとって挑戦的だが人間にとっては直感的な視覚・言語関連性を生成できるか？
• RQ2 収集された関連性が主に要求する推論の種類は何か？（共通知識、抽象的思考、文化的知識など）
• RQ3 WinoGAViLにおける視覚・言語モデルのパフォーマンスは、標準ベンチマークや他のデータ収集手法と比較してどう異なるか？
• RQ4 WinoGAViLにおけるモデルの失敗は、視覚的顕著性の欠如によるものか、それとも共通知識推論における根本的な欠陥によるものか、その程度は？

主な発見

• WinoGAViLベンチマークにおける人間のパフォーマンスは90%以上のジャカード係数を記録しており、収集された関連性が人間にとって極めて直感的であることを示している。
• 最もパフォーマンスの高かった視覚・言語モデル（ViLT）でも、ジャカードスコアは52%にとどまり、ベンチマークが最先端モデルを効果的に挑戦していることを示している。
• モデルのパフォーマンスは、キーワードが視覚的に顕著な場合に最も高くなる傾向にあり、現在のモデルが深層的な意味的または共通知識的推論に依存しているのではなく、視覚的特徴に大きく依存していることが示唆される。
• ゲーム化されたデータ収集アプローチは、SWOW（手作業で作成されたテキスト的関連性リソース）を用いたベースラインと比較して、AIモデルに対してはるかに挑戦的である関連性を生み出している。
• 分析の結果、98%のスパイマスターが同じ画像セットに対して異なるキーワードを生成しており、関連性生成の多様性が非常に高いことが判明した。
• データセットの88%のキーワードにOoV（未知語）が存在しなく、データ収集プロセスにおける語彙カバレッジの高さとノイズの少なさが示された。