[论文解读] Explaining Patterns in Data with Language Models via Interpretable Autoprompting

Chandan Singh, John X. Morris+3 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用 14

一句话总结

该论文提出 iPrompt，一种利用预训练语言模型通过迭代式提示生成与重排序，自动生成人类可读的自然语言解释以揭示数据模式的方法。iPrompt 仅使用较小的模型（GPT-J）即在 GPT-3 上超越了人工编写的提示，实现了在多样化数据集（包括科学与 NLP 任务）上的高精度解释，并为下游应用提供了可解释且可泛化的提示。

ABSTRACT

Large language models (LLMs) have displayed an impressive ability to harness natural language to perform complex tasks. In this work, we explore whether we can leverage this learned ability to find and explain patterns in data. Specifically, given a pre-trained LLM and data examples, we introduce interpretable autoprompting (iPrompt), an algorithm that generates a natural-language string explaining the data. iPrompt iteratively alternates between generating explanations with an LLM and reranking them based on their performance when used as a prompt. Experiments on a wide range of datasets, from synthetic mathematics to natural-language understanding, show that iPrompt can yield meaningful insights by accurately finding groundtruth dataset descriptions. Moreover, the prompts produced by iPrompt are simultaneously human-interpretable and highly effective for generalization: on real-world sentiment classification datasets, iPrompt produces prompts that match or even improve upon human-written prompts for GPT-3. Finally, experiments with an fMRI dataset show the potential for iPrompt to aid in scientific discovery. All code for using the methods and data here is made available on Github.

研究动机与目标

• 开发一种方法，利用预训练语言模型自动发现并生成数据模式的可解释自然语言解释。
• 通过在生成解释中强制实现语义意义，解决现有自动提示方法生成不可解释提示的局限性。
• 实现可泛化、可迁移的提示，使其适用于不同大语言模型与任务。
• 在包括合成数据、NLP 和科学数据在内的多样化数据集上评估该方法，以证明其鲁棒性与实用性。
• 探索大语言模型不仅用于预测，还可用于科学洞察生成与数据模式解释的潜力。

提出的方法

• iPrompt 使用预训练语言模型，为给定数据集迭代生成候选自然语言解释（提示）。
• 每个候选提示通过在数据集上的零样本推理进行评估，性能通过零样本损失的运行平均值进行衡量。
• 该方法采用基于种群的搜索，并通过确保每个候选提示从不同 token 开始来实现多样性，避免陷入局部最优。
• 使用贪婪解码生成提示，温度=1，重复惩罚根据任务调整（例如，数学和自然语言推理任务为 2.0，情感分类任务为 1.0）。
• 采用改进版的 AutoPrompt 优化提示质量，关键修改包括：随机选择编辑位置、基于损失的接受标准，以及支持特殊字符与非英文字符。
• 最终选择平均损失最低且出现频率≥3次（经多次评估）的提示作为最优提示，以确保稳定性和可靠性。

实验结果

研究问题

• RQ1 预训练语言模型能否生成既准确又可解释的数据模式自然语言解释？
• RQ2 尽管仅使用较小的模型（GPT-J）进行生成，iPrompt 是否能发现优于人工编写提示的提示，且在下游大模型（如 GPT-3）上表现更优？
• RQ3 iPrompt 在不同数据类型（包括合成数据、NLP 和科学数据）上的泛化能力如何？
• RQ4 iPrompt 生成的解释在多大程度上能支持科学发现，例如在 fMRI 或蛋白质数据分析中的应用？
• RQ5 由于其语义清晰性，生成的提示是否可被审计并跨不同模型与任务重用？

主要发现

• 在四组分类数据集中的两组上，iPrompt 使用仅较小的 GPT-J 模型生成提示，其在 GPT-3 上的表现超越了人工编写的提示。
• iPrompt 在涵盖数学运算、自然语言推理和情感分类等多样数据集上，对真实数据模式的解释均实现了高精度。
• 生成的解释始终具有可解释性，支持人工审计，并促进了提示在不同大语言模型间的可迁移性。
• 在科学应用中，iPrompt 从 fMRI 数据中成功提取出有意义且空间局部化的概念，脑图显示了如“材料”和“颜色”等概念的平滑、聚集的表示。
• 该方法展现出强大的泛化能力：fMRI 数据中单个体素模型实现了高预测精度（与实测响应具有高相关性），且概念定位的空间一致性显著优于随机打乱。
• iPrompt 在多种数据类型上表现稳健，包括 Swiss-Prot 蛋白质关键词和叙事性语音 fMRI 数据，表明其具有广泛适用性。