[論文レビュー] NLVR2 Visual Bias Analysis

Alane Suhr, Yoav Artzi|arXiv (Cornell University)|Sep 23, 2019

Multimodal Machine Learning Applications参考文献 5被引用数 8

ひとこと要約

この論文は、NLVR2ベンチマークにおける視覚的バイアスを特定し、画像ペアのラベル付けが複数のインスタンスで一貫性なく行われていること、言語理解ではなく視覚的手がかりを利用したモデルの可能性を示している。本研究では、バランスとアンバランスなテストセットのサブセットを用いた新しい評価プロトコルを提案し、モデルの頑健性を測定した。SOTAモデル（VisualBERT や LXMERT）がバイアスにほとんど影響されないことを示し、言語理解に依存していることが確認された。

ABSTRACT

NLVR2 (Suhr et al., 2019) was designed to be robust for language bias through a data collection process that resulted in each natural language sentence appearing with both true and false labels. The process did not provide a similar measure of control for visual bias. This technical report analyzes the potential for visual bias in NLVR2. We show that some amount of visual bias likely exists. Finally, we identify a subset of the test data that allows to test for model performance in a way that is robust to such potential biases. We show that the performance of existing models (Li et al., 2019; Tan and Bansal 2019) is relatively robust to this potential bias. We propose to add the evaluation on this subset of the data to the NLVR2 evaluation protocol, and update the official release to include it. A notebook including an implementation of the code used to replicate this analysis is available at http://nlvr.ai/NLVR2BiasAnalysis.html.

研究の動機と目的

• データ収集時の作業者によるラベル割り当てに起因してNLVR2ベンチマークに視覚的バイアスが存在するかどうかを調査すること。
• 複数のアノテーションを用いた画像ペアの頻度とラベルの一貫性を分析することで、視覚的バイアスの程度を定量化すること。
• 視覚的バイアスに頑健なインスタンスを分離する新しい評価プロトコルを開発し、公平なモデル評価を可能にすること。
• この新しいプロトコル上でSOTAモデルの性能を評価し、モデルが視覚的バイアスを活用しているのか、言語的推論に依存しているのかを特定すること。
• 長期的な評価の信頼性を向上させるために、新しい評価サブセットを公式NLVR2ベンチマークに統合することを提言すること。

提案手法

• 同じラベルまたは異なるラベルで複数回出現する画像ペアを訓練セット内で特定し、ラベルの不一致を検出すること。
• ランダム割り当て下での期待ラベル分布を計算し、観測頻度と比較することでバイアスを検出すること。
• 各画像ペアが2回出現し、ラベルが逆転している（バランスされたセット）ように新しい評価サブセットを構築し、視覚的バイアスを利用できなくすること。
• 同じラベルが複数回出現するペアを含む第二のサブセット（アンバランスセット）を構築し、バイアスの可能性を表現すること。
• 既存のSOTAモデル（VisualBERT および LXMERT）を、両方の新しいサブセットで評価し、元のテストセットと比較して性能の変化を測定すること。
• バランスされたサブセットを頑健な評価基準として使用し、一貫性指標へのバイアスを避けるために、精度はこのサブセットでのみ報告すること。

実験結果

リサーチクエスチョン

• RQ1 データ収集時の非ランダムなラベル割り当てにより、NLVR2に視覚的バイアスが存在するか？
• RQ2 繰り返し出現する画像ペアのラベル一貫性の観点から、視覚的バイアスの大きさはどの程度か？
• RQ3 モデルが言語とは無関係に視覚的バイアスのみを活用して高い精度を達成できるか？
• RQ4 SOTAモデルはバイアスに頑健な評価サブセットで、元のテストセットと比較してどの程度の性能を示すか？
• RQ5 バランスされたサブセットでの性能低下は、モデルが言語的推論に依存していることを示唆するのか？

主な発見

• 訓練セット内で2回以上出現する画像ペアのうち、21,267組が同じラベルを持つが、これはランダム割り当て下での期待値16,933を上回っており、視覚的バイアスの存在を示している。
• 視覚的バイアスに完全に依存する最悪のモデルは、開発セットで83.53%の精度を示し、視覚的バイアスは利用可能ではあるが、支配的ではないことが示された。
• 開発セットのバランスされたサブセットでは、VisualBERTの精度が1.4ポイント低下（67.4% → 66.0%）、LXMERTは0.9ポイント低下しており、視覚的バイアスへの依存がほとんどないことが示された。
• アンバランスなサブセットでは、両モデルともわずかな性能向上を示した（VisualBERT +1.7ポイント、LXMERT +1.5ポイント）、視覚的バイアスが実際に利用可能であることを確認した。
• テストセットでも、バランスされたサブセットでは精度が安定しており（VisualBERT: -1.3、LXMERT: -1.4）、アンバランスなサブセットではわずかに向上した。これにより、視覚的バイアスの存在が裏付けられた。
• 著者らは、バランス評価サブセットを公式NLVR2ベンチマークに統合することを提言しており、より頑健なモデル評価を可能にする。