[論文レビュー] Mass-Producing Failures of Multimodal Systems with Language Models

Shengbang Tong, Erik Jones+1 more|arXiv (Cornell University)|Jun 21, 2023

Software Engineering Research被引用数 5

ひとこと要約

この論文では、CLIP埋め込みにおける誤った一致を特定することで、多モodal AIシステムにおける体系的障害を自動で発見するシステムMultiMonを紹介している。14の高品質で自然言語で表現された障害パターン（例：限定詞や否定を無視すること）を同定し、DALL-E や Midjourney 5.1、Stable Diffusion といった最先端モデルに跨って転送可能であり、生成されたテストペアの80％がエラーを引き起こす。

ABSTRACT

Deployed multimodal systems can fail in ways that evaluators did not anticipate. In order to find these failures before deployment, we introduce MultiMon, a system that automatically identifies systematic failures -- generalizable, natural-language descriptions of patterns of model failures. To uncover systematic failures, MultiMon scrapes a corpus for examples of erroneous agreement: inputs that produce the same output, but should not. It then prompts a language model (e.g., GPT-4) to find systematic patterns of failure and describe them in natural language. We use MultiMon to find 14 systematic failures (e.g., "ignores quantifiers") of the CLIP text-encoder, each comprising hundreds of distinct inputs (e.g., "a shelf with a few/many books"). Because CLIP is the backbone for most state-of-the-art multimodal systems, these inputs produce failures in Midjourney 5.1, DALL-E, VideoFusion, and others. MultiMon can also steer towards failures relevant to specific use cases, such as self-driving cars. We see MultiMon as a step towards evaluation that autonomously explores the long tail of potential system failures. Code for MULTIMON is available at https://github.com/tsb0601/MultiMon.

研究の動機と目的

• 展開前の予期せぬ体系的障害を特定することで、多モーダルシステムの評価におけるギャップを埋める。
• 手動ラベル付けや障害タイプに関する事前仮定に依存しない、自律的かつスケーラブルな評価手法を開発する。
• システム設計者にとって有用で、特定の用途に適応可能な、人間が理解可能な自然言語による障害パターンの記述を生成する。
• テキストから画像、テキストから動画、テキストから3Dモデルへの多様な多モーダルモデルにわたる障害の転送性を実現する。
• これらの障害が商業的セーフティフィルタを回避する能力を評価し、現実世界におけるリスクを浮き彫りにする。

提案手法

• MultiMonは、意味が異なる入力が同じCLIP埋め込みを持つ「誤った一致」を介して個々の障害を特定する。これはモデルの不整合を示している。
• CLIP類似度を軽量なプロキシとして用い、高価な生成ステップを回避しながら、大規模コーパスからこのような障害ペアを効率的にスキャンする。
• 大規模言語モデル（例：GPT-4）をプロンプトして、抽出した障害ペアを分析し、一般化可能で自然言語による障害パターンの記述を生成する。
• 下流の応用に適した特定の属性（例：「自動運転車にとって顕著な」）に焦点を当てるプロンプトによる制御をサポートする。
• 生成された障害インスタンスはCLIP類似度で検証され、下流の多モーダルモデルでテストされ、エラー率を測定する。
• パイプラインは手動評価とセーフティフィルタの回避テストを通じて評価され、転送性と現実世界への影響を示している。

Figure 1 : Examples failures that MultiMon generates on state-of-the-art text-to-image systems.

実験結果

リサーチクエスチョン

• RQ1 事前に障害タイプに関する仮定を置かずに、多モーダルモデルにおける体系的障害パターンを自動で発見できるか？
• RQ2 言語モデルが生の障害ペアから高品質で自然言語による障害パターンの記述を生成する効果はどの程度か？
• RQ3 同定された障害パターンは、DALL-E や Midjourney、Stable Diffusion といった多様な多モーダルモデルにどの程度一般化されるか？
• RQ4 このシステムは商業的セーフティフィルタを回避する障害を生成できるか？これはモデルの耐性にどのような含意をもたらすか？
• RQ5 障害パターンは、画像、動画、3D といった異なるモダリティおよび用途にどの程度スケーラブルで転送可能か？

主な発見

• MultiMonはCLIPテキストエンコーダーにおいて14の体系的障害パターンを同定した。その例として、限定子の無視、否定の無視、空間的関係の無視、数的差の無視が含まれる。
• 14の体系的障害のうち、12つが少なくとも50％の確率でCLIP類似ペアを生成し、7つは少なくとも75％の確率で生成しており、高品質な一般化が示された。
• 1,000件を超える新しい個々の障害インスタンスが生成され、5つの主要なテキストから画像モデルでテストケースの80％でエラーを引き起こした。
• 一方、ベースラインシステムは同じ入力で僅か20％のエラー率にとどまり、MultiMonの障害発見の有効性を示している。
• MultiMonはMidjourney 5.1のセーフティフィルタを回避する入力を特に否定や空間的関係の障害において成功して生成した。
• 障害パターンはテキストから動画（VideoFusion）およびテキストから3D（Shap-From）モデルへも転送可能であり、広範な適用可能性が確認された。

Figure 2 : The MultiMon pipeline. Left. MultiMon starts with a corpus of sentences (dots), then identifies individual failures : pairs that have similar CLIP embeddings but should not (circled red dots). Center. MultiMon takes the individual failures, then categorizes them into systematic failures u