[论文解读] Language in a Bottle: Language Model Guided Concept Bottlenecks for Interpretable Image Classification

Yue Yang, Artemis Panagopoulou+4 more|arXiv (Cornell University)|Nov 21, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

该论文提出语言引导瓶颈（LaBo），一种通过利用GPT-3生成文本概念并使用CLIP将其与图像对齐，自动构建高性能、可解释的概念瓶颈模型（CBM）的方法。在11个多样化数据集上，LaBo在零样本学习（1-shot learning）中的准确率比线性探测器高出11.7%，表明可解释模型可在无需人工概念标注的情况下，达到或超越黑箱模型的性能。

ABSTRACT

Concept Bottleneck Models (CBM) are inherently interpretable models that factor model decisions into human-readable concepts. They allow people to easily understand why a model is failing, a critical feature for high-stakes applications. CBMs require manually specified concepts and often under-perform their black box counterparts, preventing their broad adoption. We address these shortcomings and are first to show how to construct high-performance CBMs without manual specification of similar accuracy to black box models. Our approach, Language Guided Bottlenecks (LaBo), leverages a language model, GPT-3, to define a large space of possible bottlenecks. Given a problem domain, LaBo uses GPT-3 to produce factual sentences about categories to form candidate concepts. LaBo efficiently searches possible bottlenecks through a novel submodular utility that promotes the selection of discriminative and diverse information. Ultimately, GPT-3's sentential concepts can be aligned to images using CLIP, to form a bottleneck layer. Experiments demonstrate that LaBo is a highly effective prior for concepts important to visual recognition. In the evaluation with 11 diverse datasets, LaBo bottlenecks excel at few-shot classification: they are 11.7% more accurate than black box linear probes at 1 shot and comparable with more data. Overall, LaBo demonstrates that inherently interpretable models can be widely applied at similar, or better, performance than black box approaches.

研究动机与目标

• 解决概念瓶颈模型（CBM）的局限性，后者需要昂贵的人工概念标注，且通常性能低于黑箱模型。
• 开发一种方法，实现无需人工设计概念的高性能、内在可解释的图像分类器。
• 证明语言模型可作为有效先验，用于识别视觉上相关、具有判别性且多样化的视觉识别概念。
• 在保持CBM可解释性的同时，实现与黑箱模型相当或更优的性能，尤其是在低数据场景下。

提出的方法

• 使用与类别相关的描述提示GPT-3，生成大量事实性、描述性的句子作为候选概念。
• 提出一种新颖的子模 utility 函数，以在可区分性、覆盖度和多样性之间取得平衡，从而从候选池中高效选择最优概念子集。
• 使用CLIP对图像输入和文本概念进行嵌入，通过交叉注意力机制对图像中概念的存在性进行评分。
• 从选定的概念得分构建瓶颈层，这些得分随后作为线性分类器的输入特征，用于预测图像标签。
• 使用标准训练流程端到端优化线性分类器，同时保持模型的可解释性。
• 针对每个数据集微调GPT-3提示，以提高词义准确性并减少歧义（例如，避免将“天堂鸟”这一花与鸟混淆）。

实验结果

研究问题

• RQ1 像GPT-3这样的语言模型能否用于自动生成高质量、视觉上对齐的概念，以支持可解释的图像分类？
• RQ2 如何从语言模型生成的大量概念池中高效选择出多样化且具有判别性的概念子集？
• RQ3 自动生成的概念瓶颈能否在性能上达到或超越黑箱模型，尤其是在低样本学习场景下？
• RQ4 与人工设计的CBM相比，自动生成的概念在保持可解释性的同时，能在多大程度上提升模型准确率？
• RQ5 瓶颈大小、概念长度以及是否包含类别名称等设计选择如何影响性能与可解释性？

主要发现

• 在11个多样化数据集上，LaBo在1-shot学习中的准确率比线性探测器高出11.7%，在低数据场景下显著优于黑箱基线模型。
• 平均而言，LaBo在多种数据设置下比线性探测器高出1.5%的准确率，展现出一致的性能提升。
• 该方法减少了对手动概念标注的需求，使得无需领域专家输入即可构建可解释模型。
• LaBo保持了高水平的可解释性，因为概念是自然语言描述，具有人类可读性，并在视觉属性上具有语义基础。
• 消融实验表明，若从概念中排除类别名称，并优先选择更短、无冗余且视觉上对齐的句子，可同时提升性能与可解释性。
• 该方法在多种领域具有良好的泛化能力，包括细粒度图像识别、皮肤肿瘤分类和卫星图像分析，且仅需极少的数据集特定提示微调。