[论文解读] Mass-Producing Failures of Multimodal Systems with Language Models

Shengbang Tong, Erik Jones+1 more|arXiv (Cornell University)|Jun 21, 2023

Software Engineering Research被引用 5

一句话总结

本文提出 MultiMon 系统，利用大语言模型自动发现多模态 AI 系统中的系统性故障，通过识别 CLIP 嵌入中的错误一致现象。该系统发现了 14 种高质量、自然语言描述的故障模式，例如忽略限定词或否定表达，这些模式可跨最先进的模型（如 DALL-E、Midjourney 5.1 和 Stable Diffusion）迁移，且 80% 的生成测试对触发了错误。

ABSTRACT

Deployed multimodal systems can fail in ways that evaluators did not anticipate. In order to find these failures before deployment, we introduce MultiMon, a system that automatically identifies systematic failures -- generalizable, natural-language descriptions of patterns of model failures. To uncover systematic failures, MultiMon scrapes a corpus for examples of erroneous agreement: inputs that produce the same output, but should not. It then prompts a language model (e.g., GPT-4) to find systematic patterns of failure and describe them in natural language. We use MultiMon to find 14 systematic failures (e.g., "ignores quantifiers") of the CLIP text-encoder, each comprising hundreds of distinct inputs (e.g., "a shelf with a few/many books"). Because CLIP is the backbone for most state-of-the-art multimodal systems, these inputs produce failures in Midjourney 5.1, DALL-E, VideoFusion, and others. MultiMon can also steer towards failures relevant to specific use cases, such as self-driving cars. We see MultiMon as a step towards evaluation that autonomously explores the long tail of potential system failures. Code for MULTIMON is available at https://github.com/tsb0601/MultiMon.

研究动机与目标

• 为填补评估多模态系统时对未预期系统性故障缺乏检测的空白，旨在部署前识别此类故障。
• 开发一种无需人工标注或预先假设故障类型的自主、可扩展的评估方法。
• 生成适用于系统设计者且可适配特定应用场景的人类可读、自然语言描述的故障模式。
• 实现故障在多样化多模态模型（包括文本到图像、文本到视频、文本到 3D 系统）间的可迁移性。
• 评估这些故障在规避商业安全过滤器方面的有效性，揭示其在现实世界中的风险。

提出的方法

• MultiMon 通过‘错误一致’现象识别单个故障——即语义不同但 CLIP 嵌入完全相同的输入，表明模型存在对齐偏差。
• 利用 CLIP 相似度作为轻量级代理，高效扫描大规模语料库以发现此类故障对，避免昂贵的生成步骤。
• 使用大语言模型（如 GPT-4）分析收集到的故障对，并生成可泛化的、自然语言描述的故障模式。
• 系统支持通过提示引导 LLM 聚焦特定属性（如‘与自动驾驶相关’），以适配下游应用场景。
• 通过 CLIP 相似度验证生成的故障实例，并在下游多模态模型上测试以衡量错误率。
• 通过人工评估和安全过滤器规避测试对整个流程进行评估，证明了故障的可迁移性与现实影响。

Figure 1 : Examples failures that MultiMon generates on state-of-the-art text-to-image systems.

实验结果

研究问题

• RQ1 能否在不预先假设故障类型的情况下，自动发现多模态模型中的系统性故障模式？
• RQ2 大语言模型从原始故障对中生成高质量、自然语言描述的故障模式的效率如何？
• RQ3 所发现的故障模式在 DALL-E、Midjourney 和 Stable Diffusion 等多样化多模态模型间的泛化程度如何？
• RQ4 该系统能否生成可规避商业安全过滤器的故障？这对模型鲁棒性有何启示？
• RQ5 这些故障模式在不同模态（图像、视频、3D）和应用场景中的可扩展性与可迁移性如何？

主要发现

• MultiMon 在 CLIP 文本编码器中发现了 14 种系统性故障模式，包括忽略限定词、否定表达、空间关系和数值差异等。
• 在 14 种系统性故障中，12 种在至少 50% 的情况下产生 CLIP 相似对，其中 7 种在至少 75% 的情况下产生，表明其具有高度的泛化质量。
• 系统生成了超过 1,000 个新的独立故障实例，这些实例在五种主流文本到图像模型中的测试中导致 80% 的错误率。
• 相比之下，基线系统在相同输入下的错误率仅为 20%，证明了 MultiMon 故障发现方法的有效性。
• MultiMon 有效生成了可规避 Midjourney 5.1 安全过滤器的输入，尤其在否定和空间关系故障方面表现显著。
• 这些故障模式可迁移至文本到视频（VideoFusion）和文本到 3D（Shap-From）模型，证实其广泛适用性。

Figure 2 : The MultiMon pipeline. Left. MultiMon starts with a corpus of sentences (dots), then identifies individual failures : pairs that have similar CLIP embeddings but should not (circled red dots). Center. MultiMon takes the individual failures, then categorizes them into systematic failures u