[论文解读] FIND: A Function Description Benchmark for Evaluating Interpretability Methods

Sarah Schwettmann, Tamar Rott Shaham+6 more|arXiv (Cornell University)|Sep 7, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文提出了 FIND，一个用于评估自动化可解释性方法（生成黑箱函数的自然语言或代码描述）的基准。通过使用具有现实世界复杂性（如噪声和偏差）的程序化生成函数，评估大型语言模型（LLMs）和一种新颖的自动化可解释性智能体（AIA），该智能体采用假设驱动的实验方法；结果表明，LLMs 能够捕捉全局行为，但会遗漏局部细节，凸显了在自动化可解释性领域增强工具的必要性。

ABSTRACT

Labeling neural network submodules with human-legible descriptions is useful for many downstream tasks: such descriptions can surface failures, guide interventions, and perhaps even explain important model behaviors. To date, most mechanistic descriptions of trained networks have involved small models, narrowly delimited phenomena, and large amounts of human labor. Labeling all human-interpretable sub-computations in models of increasing size and complexity will almost certainly require tools that can generate and validate descriptions automatically. Recently, techniques that use learned models in-the-loop for labeling have begun to gain traction, but methods for evaluating their efficacy are limited and ad-hoc. How should we validate and compare open-ended labeling tools? This paper introduces FIND (Function INterpretation and Description), a benchmark suite for evaluating the building blocks of automated interpretability methods. FIND contains functions that resemble components of trained neural networks, and accompanying descriptions of the kind we seek to generate. The functions span textual and numeric domains, and involve a range of real-world complexities. We evaluate methods that use pretrained language models (LMs) to produce descriptions of function behavior in natural language and code. Additionally, we introduce a new interactive method in which an Automated Interpretability Agent (AIA) generates function descriptions. We find that an AIA, built from an LM with black-box access to functions, can infer function structure, acting as a scientist by forming hypotheses, proposing experiments, and updating descriptions in light of new data. However, AIA descriptions tend to capture global function behavior and miss local details. These results suggest that FIND will be useful for evaluating more sophisticated interpretability methods before they are applied to real-world models.

研究动机与目标

• 为解决缺乏对生成函数描述的自动化可解释性方法的标准化评估问题。
• 创建一个基准，用于评估模型在推断和描述黑箱函数行为方面的表现。
• 评估大型语言模型（LLMs）和一种新型交互式智能体（AIA）在生成准确、人类可读的函数描述方面的有效性。
• 识别当前基于 LLM 的方法在捕捉局部函数细节方面的局限性，尽管其具备全局理解能力。
• 通过在真实、复杂的函数上表征性能，为未来自动化可解释性工具的发展提供指导。

提出的方法

• FIND 是一个程序化生成的基准，包含超过 2,000 个函数解释问题，涵盖数值型、文本型和合成神经模块。
• 函数设计包含现实世界复杂性，如组合、近似、偏差和噪声，以模拟真实模型可解释性中的挑战。
• 基线评估使用 LLM 生成函数行为的自然语言和基于代码的描述，并与真实实现进行对比。
• 引入了自动化可解释性智能体（AIA），其利用 LLM 迭代地提出假设、选择输入、观察输出并改进描述——模仿科学方法。
• 评估使用字符串匹配（用于字符串函数）和结构相似性（用于代码）等指标，按函数子类别计算成功率。
• AIA 方法支持交互式探测，允许智能体动态生成数据并更新假设，与静态描述基线形成对比。

实验结果

研究问题

• RQ1 基于 LLM 的方法能否准确描述具有现实世界复杂性（如噪声和偏差）的复杂黑箱函数？
• RQ2 一种使用假设检验和数据驱动优化来推断函数结构的交互式自动化可解释性智能体（AIA）有多有效？
• RQ3 LLMs 在多大程度上捕捉了函数的全局行为，而忽略了局部或边界情况的行为？
• RQ4 不同 LLM（如 GPT-3.5 与 GPT-4）在解释多样化函数类型方面的能力有何差异？
• RQ5 现成的 LLM 在解释高度特定或有偏差的函数时存在哪些局限性，以及如何加以解决？

主要发现

• GPT-4 和 GPT-3.5 在解释基于实体的函数时表现相当，表明性能并非仅取决于模型规模。
• 基于 LLM 的描述通常能捕捉函数的全局行为，但往往无法检测到局部损坏或边界情况，例如特定区域的异常。
• AIA 方法通过迭代假设检验和数据生成，优于静态描述基线，实现了对函数行为的更深入探索。
• 字符串函数比复杂或有偏差的函数更容易被准确解释，其成功率在不同子类别间差异显著。
• 该基准揭示，现成的 LLM 在处理高度特定的参考实体（如“《纽约时报》”）时表现吃力，提示需要更优的示例初始化策略。
• 复杂函数通常比原子函数更难解释，且随着组合程度和偏差的增加，成功率显著下降。