[论文解读] Automatic Concept Extraction for Concept Bottleneck-based Video Classification

Jeya Vikranth Jeyakumar, Luke Dickens+8 more|arXiv (Cornell University)|Jun 21, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出 CoDEx，一种自动概念发现与提取模块，能够从众包自然语言解释中识别视频分类任务中的复杂、多帧视觉概念。通过利用自然语言处理技术提取语义上分组的抽象概念——如“鸟在飞”或“击球手击中球”——CoDEx 使概念瓶颈模型能够在无需人工概念工程的情况下泛化至复杂视频任务，在两个新公开数据集上实现了具有竞争力的准确率，同时提升了模型的可解释性。

ABSTRACT

Recent efforts in interpretable deep learning models have shown that concept-based explanation methods achieve competitive accuracy with standard end-to-end models and enable reasoning and intervention about extracted high-level visual concepts from images, e.g., identifying the wing color and beak length for bird-species classification. However, these concept bottleneck models rely on a necessary and sufficient set of predefined concepts-which is intractable for complex tasks such as video classification. For complex tasks, the labels and the relationship between visual elements span many frames, e.g., identifying a bird flying or catching prey-necessitating concepts with various levels of abstraction. To this end, we present CoDEx, an automatic Concept Discovery and Extraction module that rigorously composes a necessary and sufficient set of concept abstractions for concept-based video classification. CoDEx identifies a rich set of complex concept abstractions from natural language explanations of videos-obviating the need to predefine the amorphous set of concepts. To demonstrate our method's viability, we construct two new public datasets that combine existing complex video classification datasets with short, crowd-sourced natural language explanations for their labels. Our method elicits inherent complex concept abstractions in natural language to generalize concept-bottleneck methods to complex tasks.

研究动机与目标

• 为解决手动定义视频分类任务中必要且充分的抽象多帧概念集合的挑战。
• 通过从自然语言解释中自动推导概念，使概念瓶颈模型能够泛化至复杂视频活动。
• 通过利用众包解释自动发现概念，减轻领域专家和数据标注者的负担。
• 评估自动提取的概念是否既能被深度神经网络检测到，又能被人类视为有意义的解释。

提出的方法

• CoDEx 使用自然语言处理技术解析众包提供的视频标签自然语言解释，将其分解为原子文本片段。
• 利用基于嵌入的聚类方法将相关片段分组为概念簇，捕捉多帧、高层级的抽象概念，如“捕食”或“拍打翅膀”。
• 在每个簇中选择最频繁的概念作为代表性概念，确保语义一致性和可解释性。
• 采用概念瓶颈架构，先进行中间概念预测，再进行最终视频标签分类，从而支持模型干预与解释。
• 应用注意力机制，突出显示对特定预测贡献最大的概念，增强可解释性。
• 通过将现有视频数据集与短时众包解释相结合，构建了两个新公开数据集——MLB V2E 和 MSR-V2E。

实验结果

研究问题

• RQ1 机器如何能从自然语言解释中自动提取复杂、多帧的概念抽象？
• RQ2 自动提取的概念是否对下游视频分类任务具有信息量且可被深度神经网络检测到？
• RQ3 机器提取的概念是否能作为人类感知到的有意义解释，用于正确分类的视频标签？
• RQ4 概念瓶颈框架能否在无需预定义专家筛选概念的情况下，泛化至复杂视频任务？

主要发现

• CoDEx 从自然语言解释中成功提取出丰富的一组复杂多帧概念，如“击球手挥棒”或“球落地”，这些概念捕捉了时空关系。
• 在 MLB V2E 数据集上，采用 CoDEx 的概念瓶颈模型使用 MLP 分类器达到 68.38% 的准确率，其可解释性优于基线端到端模型，且性能损失不显著。
• 在 MSR-V2E 数据集上，模型使用 MLP 分类器达到 61.68% 的准确率，证明了在不同视频分类任务中的泛化能力。
• 人工评估确认，自动提取的概念被人类视为对视频标签预测具有意义且有用的解释。
• 注意力机制有效突出了对分类决策最具影响力的关键词，如“外野手”或“投手”。
• 该方法减少了对专家定义概念的依赖，并通过利用众包解释分摊了标注工作量。