[論文レビュー] Binary Image Selection (BISON): Interpretable Evaluation of Visual Grounding.

Hexiang Hu, Ishan Misra+1 more|arXiv (Cornell University)|Jan 19, 2019

Multimodal Machine Learning Applications参考文献 45被引用数 10

ひとこと要約

この論文では、視覚的接地のための新規で解釈可能な評価タスクであるバイナリ画像選択（BISON）を紹介する。BISONは、一対の意味的に類似した画像の中から、キャプションと最も関連性の高い画像を選ぶことを要請する。BISONは、キャプション生成モデルが標準的な指標では人間を上回っているものの、微細な視覚的接地においては依然として人間と大きく差をあけられていることを明らかにし、現在のモデルが言語のニュアンスとの整合性に欠けていることを示している。

ABSTRACT

Providing systems the ability to relate linguistic and visual content is one of the hallmarks of computer vision. Tasks such as image captioning and retrieval were designed to test this ability, but come with complex evaluation measures that gauge various other abilities and biases simultaneously. This paper presents an alternative evaluation task for visual-grounding systems: given a caption the system is asked to select the image that best matches the caption from a pair of semantically similar images. The system's accuracy on this Binary Image SelectiON (BISON) task is not only interpretable, but also measures the ability to relate fine-grained text content in the caption to visual content in the images. We gathered a BISON dataset that complements the COCO Captions dataset and used this dataset in auxiliary evaluations of captioning and caption-based retrieval systems. While captioning measures suggest visual grounding systems outperform humans, BISON shows that these systems are still far away from human performance.

研究の動機と目的

• 微細な言語的・視覚的整合性を隔離する、解釈可能な視覚的接地システムの評価手法の不足に対処すること。
• 視覚言語モデルにおける複数の能力とバイアスを混同する既存の評価指標の欠陥を特定すること。
• テキストを視覚的コンテンツに接地するというコアな能力を隔離・測定できる、シンプルだが効果的なバイナリ画像選択タスクを提案すること。
• 実証的評価を通じて、現在のキャプション生成およびリtrievalモデルが微細な視覚的接地において人間水準の性能にまだ到達していないことを示すこと。

提案手法

• BISONタスクは、システムにキャプションと二つの意味的に類似した画像を提示し、キャプションに最も適合する画像を選択させることを要請する。
• データセットは、COCOキャプションを補完するように構築されており、キャプションの内容に関連する微細な意味的差異を有する画像ペアを対応付ける。
• 正解画像の選択確率に基づく正答率を評価指標とし、接地性能を直接的かつ解釈可能な方法で測定する。
• 既存のキャプション生成およびリtrievalモデルを活用してBISONベンチマーク上の性能を評価し、人間の性能と比較可能にする。
• 画像ペアが外観的に非常に類似しているが、キャプションに関連する属性で異なるように設計することで、混同要因を最小限に抑える。
• 評価フレームワークにより、特定の言語的および視覚的差異に対するモデル行動の微細な分析が可能になる。

実験結果

リサーチクエスチョン

• RQ1 最先端の視覚的接地モデルは、微細な言語的・視覚的整合性を隔離するバイナリ画像選択タスクでどの程度の性能を示すか？
• RQ2 標準的なキャプション生成およびリtrieval指標は、より解釈可能な接地評価と比較して、モデル性能をどの程度誇張して評価しているか？
• RQ3 BISONベンチマークは、従来の評価プロトコルによって隠蔽されていた、モデルと人間の間の性能ギャップを検出できるか？
• RQ4 現在のモデルが視覚的接地において最も困難に感じる視覚的および言語的差異の種類は何か？

主な発見

• BISONベンチマークは、標準的なキャプション指標では人間を上回っているにもかかわらず、微細な画像選択において視覚的接地モデルが人間を著しく下回っていることを明らかにした。
• COCOキャプションで学習したモデルは、標準評価では高い正答率を示すが、BISONタスクでは中程度の性能にとどまり、標準指標と真の接地能力との間には乖離があることを示している。
• BISONにおけるモデルと人間の性能ギャップは顕著であり、現在のモデルがキャプション内の微細な言語的差異に対して堅牢な整合性を欠いていることを示唆している。
• BISONタスクは、コアな視覚的接地能力を効果的に隔離・測定できており、複雑で多様な評価指標が隠蔽する現在のモデルの限界を露呈した。