[论文解读] Large Language Models Enable Few-Shot Clustering

Vijay Viswanathan, Kiril Gashteovski+3 more|arXiv (Cornell University)|Jul 2, 2023

Topic Modeling被引用 4

一句话总结

本文提出利用大语言模型（LLMs）通过生成伪反馈（如关键词扩展、成对约束或事后修正）来实现少样本半监督文本聚类，从而降低人工标注成本并提升聚类质量。LLMs 仅需极少用户输入即可显著提升聚类性能，优于传统 K-Means 方法，并在远低于成本的情况下达到与人工标注相当的结果。

ABSTRACT

Unlike traditional unsupervised clustering, semi-supervised clustering allows users to provide meaningful structure to the data, which helps the clustering algorithm to match the user's intent. Existing approaches to semi-supervised clustering require a significant amount of feedback from an expert to improve the clusters. In this paper, we ask whether a large language model can amplify an expert's guidance to enable query-efficient, few-shot semi-supervised text clustering. We show that LLMs are surprisingly effective at improving clustering. We explore three stages where LLMs can be incorporated into clustering: before clustering (improving input features), during clustering (by providing constraints to the clusterer), and after clustering (using LLMs post-correction). We find incorporating LLMs in the first two stages can routinely provide significant improvements in cluster quality, and that LLMs enable a user to make trade-offs between cost and accuracy to produce desired clusters. We release our code and LLM prompts for the public to use.

研究动机与目标

• 通过利用 LLMs 放大专家反馈，降低传统半监督聚类的高标注成本。
• 探究 LLMs 是否可作为聚类中成对约束的有效伪预言者。
• 评估 LLM 增强的文档表征在多种文本聚类任务中的聚类质量影响。
• 比较 LLM 引导聚类与人工标注聚类的成本效益。
• 探索在聚类中有效集成 LLM 所需的最小提示需求（例如，仅指令 vs. 示范）。

提出的方法

• LLMs 从输入文档中生成关键词，将其嵌入并连接到原始文档嵌入中，以增强聚类前的表征。
• 一个 LLM 充当成对约束的伪预言者，生成文档对之间的相似性判断，以指导 PCKMeans 聚类。
• 聚类后，LLM 使用相同的成对约束预言者重新评估低置信度的聚类分配，以纠正错误。
• 该方法应用于三项任务：实体规范化、意图聚类和主题分组，使用五个基准数据集。
• 所有 LLM 交互均通过自然语言提示驱动，可无缝集成到任何文本聚类流水线中。
• 使用 GPT-3.5-turbo-0301 API 评估成本与性能，指标包括 Macro F1、Pairwise F1 和 Micro F1。

Figure 1: In traditional semi-supervised clustering, a user provides a large amount of feedback to the clusterer. In our approach, the user prompts an LLM with a small amount of feedback. The LLM then generates a large amount of pseudo-feedback for the clusterer.

实验结果

研究问题

• RQ1 LLMs 是否能有效生成伪反馈，以降低半监督文本聚类中的人工标注成本？
• RQ2 LLM 增强的文档表征在聚类质量上与传统嵌入方法相比如何？
• RQ3 将 LLM 作为成对约束伪预言者是否在成本-性能权衡上优于人工标注约束？
• RQ4 在聚类中实现 LLM 有效引导所需的最小提示输入（例如，仅指令 vs. 示范）是什么？
• RQ5 基于 LLM 的事后修正在初始聚类后提升聚类分配的效率如何？

主要发现

• LLM 关键词扩展在所有五个数据集的所有指标上均提升了聚类质量，F1 最高提升达 5.2 个百分点。
• 使用 LLM 作为成对约束伪预言者的表现与真实人类预言者相当，尤其在生成足够反馈（如 20K 对）时更为显著。
• LLM 事后修正仅带来微小增益，仅重新分配了不到 10% 的前 500 个不确定样本，且在低置信度情况下常不准确。
• 使用 LLM 生成成对约束的成本高于关键词扩展，但仍远低于人工标注成本——20K 个 LLM 标注成本为 42 美元，而少于 700 个人工标注对的成本约为 41 美元。
• 即使仅使用指令提示（无示范），LLM 仍显著提升了聚类效果，表明仅靠自然语言指令即可有效引导 LLM。
• 使用 LLM 生成约束的 PCKMeans 在 OPIEC59k 数据集上达到 Macro F1 0.867，仅需 20K 次 LLM 查询，已接近真实预言者的性能。

Figure 2: We expand document representations by concatenating them with keyphrase embeddings. The keyphrases are generated by a large language model.