[論文レビュー] LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual Images

Viraj Prabhu, Sriram Yenamandra+2 more|arXiv (Cornell University)|May 30, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

LANCEは、特定の視覚的属性（例：物体、色、背景）を変更しながら元のラベルを保持する言語誘導型反事実画像を生成することで、視覚モデルのストレステストを自動化する手法を提案する。大規模言語モデルとテキストから画像への拡散モデルを活用し、現実的で多様なテスト画像を生成することで、モデルの脆弱性を露呈させ、ImageNetの多様な事前学習済みモデルにおいて顕著で一貫した性能低下を明らかにする。特に、クラスレベルのバイアスの検出において顕著である。

ABSTRACT

We propose an automated algorithm to stress-test a trained visual model by generating language-guided counterfactual test images (LANCE). Our method leverages recent progress in large language modeling and text-based image editing to augment an IID test set with a suite of diverse, realistic, and challenging test images without altering model weights. We benchmark the performance of a diverse set of pre-trained models on our generated data and observe significant and consistent performance drops. We further analyze model sensitivity across different types of edits, and demonstrate its applicability at surfacing previously unknown class-level model biases in ImageNet. Code is available at https://github.com/virajprabhu/lance.

研究の動機と目的

• IIDテストセットにおける静的かつ集約的な指標（例：正確度）の限界を是正すること。これらの指標は、特定の視覚的摂動に対するモデルの脆弱性を検出できない。
• 従来のOODベンチマークの静的特性を克服し、モデル固有の動的で柔軟なテストセットを生成することで、現実世界におけるロバストネスを検証すること。
• 視覚的属性に対する言語誘導型干渉を用いて、現実的で多様な反事実画像を自動生成することで、モデルバイアスの発見を自動化すること。
• 再訓練を必要とせず、さまざまなタイプの視覚的編集におけるモデル感受性をスケーラブルかつ非侵襲的に評価する方法を提供すること。
• 標準的な評価では検出できない、ImageNetにおける以前に未知のクラスレベルバイアスを特定すること。

提案手法

• 入力画像とその正例ラベルの自然言語記述を生成するための画像キャプションモデルを用いる。
• 大規模言語モデル（LLM）を微調整し、1つの視覚的属性（例：主語、目的語、形容詞、ドメイン、背景）を現実的かつ意味的に整合性のある形で変更しつつ、正例カテゴリを維持するような摂動を生成する。
• オリジナル画像と編集済みキャプションを条件として、null-text inversionとプロンプト誘導型編集を用いたテキストから画像への拡散モデルを適用し、反事実画像を生成する。
• ラベルの一貫性検証と品質フィルタリングを含む、自動的なチェック・アンド・バランスにより、画像の現実性と編集の忠実度を確保する。
• オリジナル画像と生成された反事実画像の両方でモデルの性能を評価し、平均正確度低下を感受性の指標として算出する。
• 人間による評価を通じて、現実性、編集成功度、忠実度、ラベルの一貫性、倫理的懸念の有無を検証し、生成画像の品質と安全性を検証する。

Figure 1 : The predominant paradigm in computer vision is to benchmark trained models on IID test sets using aggregate metrics such as accuracy, which does not adequately vet models for deployment, e.g. for the test image above, while a trained ResNet-50 model [ 1 ] accurately predicts the ground tr

実験結果

リサーチクエスチョン

• RQ1 LANCEは、視覚モデルのストレステストに適した現実的で多様な反事実画像をどれほど効果的に生成できるか？
• RQ2 事前学習済み視覚モデルは、言語誘導型反事実編集にさらされた際に、どの程度の性能低下を示すか？
• RQ3 物体、色、背景などのどのタイプの視覚的摂動が、モデル性能を最も顕著に低下させるか？
• RQ4 LANCEは、標準的な評価では検出できない、ImageNetにおける以前に未知のクラスレベルバイアスを特定できるか？
• RQ5 既存のベースライン手法と比較して、生成された反事実画像は現実性と編集品質においてどの程度優れているか？

主な発見

• LANCEが生成した反事実画像は、人間評価で平均4.2（5点満点）の現実性スコアを達成し、高い知覚的品質を示した。
• 編集成功度は平均3.7（5点満点）であり、背景編集では誤った領域を標的とすることが原因で最も低い性能を示した。
• 画像の忠実度は高く、平均4.5（5点満点）を記録し、変更が関連性があり適切に局所化されていることを示した。
• 95％のケースでラベルの一貫性が維持されており、生成画像が元のラベルに対して妥当であることが確認された。
• 生成画像のうち2％が倫理的懸念を引き起こしており、主にテキストから画像生成におけるステレオタイプ的またはバイアスのある表現が原因であった。
• 性能低下は多様なモデルで一貫して顕著であり、特に属性固有の摂動下で、以前に検出されていなかったImageNetのクラスレベルバイアスが明らかになった。

Figure 2 : Overview. We propose a method to generate challenging counterfactual examples to stress-test a given visual model. Given a trained model and test set, LANCE generates a textual description (from a captioning model) and perturbed caption (using a large language model (LLM)), which is fed a