[論文レビュー] Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning

Olivia Wiles, Isabela Albuquerque+1 more|arXiv (Cornell University)|Aug 18, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文では、市販のテキストから画像への変換モデルおよび画像キャプション生成モデルを用いて、視覚分類器におけるロバストネスの欠陥を自動で発見する、新規でスケーラブルな手法を提案する。クラスラベルから合成画像を生成し、自然言語による記述を通じて誤分類例を分析することで、手動でのデータ収集や合成データセットの整備を一切行わずに、人間が理解可能な失敗事例や誤った相関関係を特定する。この手法により、ImageNetモデルにおいて高い失敗検出率が達成された。

ABSTRACT

Automatically discovering failures in vision models under real-world settings remains an open challenge. This work demonstrates how off-the-shelf, large-scale, image-to-text and text-to-image models, trained on vast amounts of data, can be leveraged to automatically find such failures. In essence, a conditional text-to-image generative model is used to generate large amounts of synthetic, yet realistic, inputs given a ground-truth label. Misclassified inputs are clustered and a captioning model is used to describe each cluster. Each cluster's description is used in turn to generate more inputs and assess whether specific clusters induce more failures than expected. We use this pipeline to demonstrate that we can effectively interrogate classifiers trained on ImageNet to find specific failure cases and discover spurious correlations. We also show that we can scale the approach to generate adversarial datasets targeting specific classifier architectures. This work serves as a proof-of-concept demonstrating the utility of large-scale generative models to automatically discover bugs in vision models in an open-ended manner. We also describe a number of limitations and pitfalls related to this approach.

研究の動機と目的

• 手動で整備されたデータセットに依存せずに、現実世界の分布シフト下における視覚分類器のロバストネスの欠陥を特定する課題に対処すること。
• 事前学習済みの生成モデルを用いて、オープンエンドかつスケーラブルに視覚モデルの失敗事例を発見すること。
• 誤分類された入力に対してキャプションモデルを活用することで、人間が理解可能な自然言語による失敗の説明を提供すること。
• 発見された失敗パターンが異なる生成モデルおよび現実世界の画像に対しても一般化することを示すこと。
• 繰り返しテキスト記述を変更することで、失敗の原因を調査するための対照的分析（counterfactual analysis）を可能にすること。

提案手法

• 事前学習済みのテキストから画像へのモデルを活用し、特定のクラスラベルに条件付けられた多様で現実的である合成画像を生成し、評価用の合成データセットを構築する。
• 事前学習済みの視覚言語キャプションモデルを用いて、誤分類された画像の自然言語記述を生成し、エラーを引き起こす要因となる意味的コンテンツを捉える。
• フィードバックループを構築：キャプション化された記述をもとに新たな画像を生成し、失敗率を測定することで、リスクの高いテキスト的コンセプトを同定する。
• 失敗率を、特定の記述から生成された画像の分類誤り確率の期待値として定義し、クラスラベル単体からのベースラインと比較する。
• 誤分類された画像をそのキャプション記述に基づいてクラスタリング・分析し、繰り返し現れる失敗パターンや誤った相関関係を同定する。
• 手動または自動で記述を段階的に改善することで、失敗の根本原因を調査するための対照的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 市販のテキストから画像への変換モデルおよびキャプション生成モデルを用いて、新たなデータ収集を一切行わずに視覚分類器の失敗事例を自動で発見できるか？
• RQ2 発見された失敗事例は、異なる生成モデルおよび現実世界の画像に対しても一般化するか？
• RQ3 誤分類された画像の自然言語記述は、モデルの失敗を人間が理解可能な説明として提供できるか？
• RQ4 この手法を用いることで、どのような誤った相関関係やショートカット学習行動（shortcut learning behaviors）が特定できるか？
• RQ5 このアプローチは、多様な ImageNet クラスにおいて、ロバストネスの欠陥を特定するうえでどれほどスケーラブルかつ効果的か？

主な発見

• 本手法は、ResNet-50 や Vision Transformer モデルにおいて、特定のテキスト的記述に対して、ベースラインを著しく上回る失敗率を示す失敗事例を効果的に発見した。
• キャプションと画像生成を用いて発見された失敗パターンは、Google イメージ検索で取得した現実の画像に対しても一般化しており、現実世界での関連性が裏付けられた。
• モデルが「robin」と「eft」を混同する、あるいは「bee」と「せんばい洗浄機（soap dispenser）」を混同するといった、視覚的および意味的類似性に起因する誤った相関関係が同定された。
• 失敗検出パイプラインは高いスケーラビリティを示し、手動によるデータ整備を一切行わず、特定のモデルアーキテクチャを標的にした大規模な敵対的データセットを生成できた。
• 失敗の説明としての人間が理解可能な記述のおかげで、効果的な対照的分析が可能となり、プロンプトのわずかな変更がモデルの予測を劇的に変えることが明らかになった。
• ドメイン特化のデータ収集や専門家が設計した敵対的例を必要としないにもかかわらず、本手法はベースライン手法を上回る失敗発見性能を示した。