[論文レビュー] Large Language Models Enable Few-Shot Clustering

Vijay Viswanathan, Kiril Gashteovski+3 more|arXiv (Cornell University)|Jul 2, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いて、キーフレーズ拡張、対比較制約、または後処理補正といった疑似フィードバックを生成することで、少量の教師あり半教師ありテキストクラスタリングを実現する手法を提案する。これにより、人的ラベル付けのコストを削減しつつ、クラスタの品質を向上させられる。LLMを用いることで、最小限のユーザー入力でクラスタリング性能が著しく向上し、従来のK-Meansを上回り、人的ラベル付け結果に匹敵する性能を、コストの僅か数分の１で達成できる。

ABSTRACT

Unlike traditional unsupervised clustering, semi-supervised clustering allows users to provide meaningful structure to the data, which helps the clustering algorithm to match the user's intent. Existing approaches to semi-supervised clustering require a significant amount of feedback from an expert to improve the clusters. In this paper, we ask whether a large language model can amplify an expert's guidance to enable query-efficient, few-shot semi-supervised text clustering. We show that LLMs are surprisingly effective at improving clustering. We explore three stages where LLMs can be incorporated into clustering: before clustering (improving input features), during clustering (by providing constraints to the clusterer), and after clustering (using LLMs post-correction). We find incorporating LLMs in the first two stages can routinely provide significant improvements in cluster quality, and that LLMs enable a user to make trade-offs between cost and accuracy to produce desired clusters. We release our code and LLM prompts for the public to use.

研究の動機と目的

• 従来の半教師ありクラスタリングにおける高いラベル付けコストを、LLMを用いて専門家のフィードバックを拡張することで低減すること。
• LLMがクラスタリングにおける対比較制約の有効な疑似オラクルとして機能できるかを調査すること。
• LLMによる文書表現の拡張が、多様なテキストクラスタリングタスクにおけるクラスタリング品質に与える影響を評価すること。
• LLMガイドドクラスタリングと人的ラベル付けクラスタリングのコストパフォーマンスを比較すること。
• クラスタリングへの有効なLLM統合に必要な最小限のプロンプト要件（例：指示のみ vs. 例示）を探索すること。

提案手法

• LLMが入力文書からキーフレーズを生成し、それらを埋め込み表現に変換して元の文書埋め込みと連結することで、クラスタリング前に表現を豊かにする。
• LLMを対比較制約の疑似オラクルとして用い、文書ペア間の類似性判断を生成し、PCKMeansクラスタリングをガイドする。
• クラスタリング後、同じ対比較制約オラクルを用いて、低信頼度のクラスタ割り当てを再評価し、誤りを是正する。
• 本手法は、5つのベンチマークデータセットを用いて、エンティティ正規化、意図クラスタリング、トピックグループ化の3つのタスクに適用された。
• すべてのLLM連携は自然言語プロンプトによって駆動され、任意のテキストクラスタリングパイプラインに即座に統合可能である。
• コストとパフォーマンスはGPT-3.5-turbo-0301 APIを用いて評価され、マクロF1、対比較F1、ミクロF1などの指標が用いられた。

Figure 1: In traditional semi-supervised clustering, a user provides a large amount of feedback to the clusterer. In our approach, the user prompts an LLM with a small amount of feedback. The LLM then generates a large amount of pseudo-feedback for the clusterer.

実験結果

リサーチクエスチョン

• RQ1 LLMは、半教師ありテキストクラスタリングにおける人的ラベル付けコストを低減するために、効果的に疑似フィードバックを生成できるか？
• RQ2 LLMによる文書表現拡張は、従来の埋め込み手法と比較して、クラスタリング品質にどのように影響するか？
• RQ3 LLMを対比較制約の疑似オラクルとして用いることで、人的ラベル付け制約を上回るコストパフォーマンスを達成できるか？
• RQ4 クラスタリングにおける有効なLLMガイダンスに必要な最小限のプロンプト入力（例：指示のみ vs. 例示）は何か？
• RQ5 LLMを用いた後処理補正は、初期クラスタリング後のクラスタ割り当ての改善にどの程度効果的か？

主な発見

• LLMによるキーフレーズ拡張は、すべての5つのデータセットで全指標においてクラスタリング品質を向上させ、F1値で最大5.2ポイントの上昇を達成した。
• LLMを対比較制約の疑似オラクルとして用いることで、真の人的オラクルと同等のパフォーマンスを達成した。特に、十分なフィードバック（例：20,000ペア）が生成された場合に顕著であった。
• LLMによる後処理補正はわずかな向上しかもたらさず、上位500件の不確実なポイントのうち10％未満が再割り当てされ、低信頼度ケースではしばしば不正確であった。
• 対比較制約のLLMラベル生成コストはキーフレーズ拡張より高かったが、それでも人的ラベル付けよりはるかにコスト効率が良く、20,000件のLLMラベルで42ドル、人的ラベル付けで700件未満のラベルで約41ドルであった。
• 指示のみのプロンプト（例示なし）でも、クラスタリング性能が顕著に向上したため、自然言語の指示のみでLLMを効果的にガイドできることが示された。
• LLMが生成した制約を用いたPCKMeansは、OPIEC59kでマクロF1 0.867を達成し、真のオラクルに匹敵する性能を、わずか20,000回のLLMクエリで達成した。

Figure 2: We expand document representations by concatenating them with keyphrase embeddings. The keyphrases are generated by a large language model.