[논문 리뷰] Large Language Models Enable Few-Shot Clustering

Vijay Viswanathan, Kiril Gashteovski외 3명|arXiv (Cornell University)|2023. 07. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 소수의 샘플만으로도 반감독형 텍스트 클러스터링을 가능하게 하며, 키워드 확장, 쌍별 제약 조건, 후처리 수정과 같은 가짜 피드백을 생성함으로써 인간의 주석 비용을 줄이고 클러스터 품질을 향상시킵니다. LLMs는 최소한의 사용자 입력으로도 클러스터링 성능을 크게 향상시켜 전통적인 K-Means를 능가하고, 인간 주석 결과에 근접한 성능을 낮은 비용으로 달성합니다.

ABSTRACT

Unlike traditional unsupervised clustering, semi-supervised clustering allows users to provide meaningful structure to the data, which helps the clustering algorithm to match the user's intent. Existing approaches to semi-supervised clustering require a significant amount of feedback from an expert to improve the clusters. In this paper, we ask whether a large language model can amplify an expert's guidance to enable query-efficient, few-shot semi-supervised text clustering. We show that LLMs are surprisingly effective at improving clustering. We explore three stages where LLMs can be incorporated into clustering: before clustering (improving input features), during clustering (by providing constraints to the clusterer), and after clustering (using LLMs post-correction). We find incorporating LLMs in the first two stages can routinely provide significant improvements in cluster quality, and that LLMs enable a user to make trade-offs between cost and accuracy to produce desired clusters. We release our code and LLM prompts for the public to use.

연구 동기 및 목표

• 전문가 피드백을 확장함으로써 전통적인 반감독형 클러스터링의 높은 주석 비용을 줄이기 위해 LLMs를 활용하는 것.
• LLMs가 클러스터링에서 쌍별 제약 조건에 대한 효과적인 가짜 오라클로 기능할 수 있는지 조사하는 것.
• 다양한 텍스트 클러스터링 작업 전반에서 LLM으로 보강된 문서 표현이 클러스터링 품질에 미치는 영향을 평가하는 것.
• LLM 가이드 클러스터링과 인간 주석 클러스터링 간의 비용 효율성을 비교하는 것.
• 클러스터링에 효과적인 LLM 통합을 위해 필요한 최소한의 프롬프트 요구사항(예: 지시어 전용 vs. 예시 포함)을 탐색하는 것.

제안 방법

• LLMs가 입력 문서에서 키워드를 생성하고, 이를 임베딩하여 원본 문서 임베딩에 연결함으로써 클러스터링 이전에 표현을 풍부화함.
• LLM이 쌍별 제약 조건의 가짜 오라클로 기능하여 문서 쌍 간의 유사도 판단을 생성하고, 이를 기반으로 PCKMeans 클러스터링을 유도함.
• 클러스터링 후, 동일한 쌍별 제약 조건 오라클을 사용해 낮은 신뢰도를 보이는 클러스터 할당을 재평가하여 오류를 수정함.
• 이 방법은 다섯 개의 벤치마크 데이터셋을 사용하여 실체 정규화, 의도 클러스터링, 주제 그룹화 세 가지 작업에 적용됨.
• 모든 LLM 상호작용은 자연어 프롬프트에 의해 구동되며, 어떤 텍스트 클러스터링 파이프라인에도 즉각 통합 가능함.
• 비용과 성능 평가에 GPT-3.5-turbo-0301 API를 사용하였으며, 메트릭으로는 Macro F1, Pairwise F1, Micro F1을 사용함.

Figure 1: In traditional semi-supervised clustering, a user provides a large amount of feedback to the clusterer. In our approach, the user prompts an LLM with a small amount of feedback. The LLM then generates a large amount of pseudo-feedback for the clusterer.

실험 결과

연구 질문

• RQ1 LLMs가 반감독형 텍스트 클러스터링에서 인간 주석 비용을 줄이기 위해 효과적으로 가짜 피드백을 생성할 수 있는가?
• RQ2 LLM으로 보강된 문서 표현은 기존 임베딩 방법에 비해 클러스터링 품질에서 어떻게 비교되는가?
• RQ3 LLM을 쌍별 제약 조건의 가짜 오라클로 사용할 경우, 인간 주석 제약 조건에 비해 비용-성능 트레이드오���에서 우월한가?
• RQ4 클러스터링에서 효과적인 LLM 가이던스를 위해 필요한 최소한의 프롬프트 입력(예: 지시어 전용 vs. 예시 포함)은 무엇인가?
• RQ5 LLM 기반 후처리 수정은 초기 클러스터링 이후 클러스터 할당을 얼마나 효과적으로 향상시키는가?

주요 결과

• LLM을 통한 키워드 확장은 모든 다섯 개의 데이터셋에서 모든 메트릭에서 클러스터링 품질을 향상시켰으며, F1 점수에서 최대 5.2점의 절대적 향상이 있었음.
• LLM을 쌍별 제약 조건의 가짜 오라클로 사용할 경우, 충분한 피드백(예: 20,000개의 쌍)이 생성된 경우 진정한 인간 오라클과 유사한 성능을 달성함.
• LLM 후처리 수정은 극히 미미한 성능 향상을 가져왔으며, 상위 500개의 불확실한 점 중 10% 미만이 재할당되었고, 낮은 신뢰도 사례에서는 자주 정확도가 떨어짐.
• 쌍별 제약 조건 생성에 LLM을 사용하는 비용은 키워드 확장보다 높았지만, 여전히 인간 레이블링보다 비용 효율적이었음 — 20,000개의 LLM 레이블에 $42, <700개의 인간 레이블에 약 $41.
• 지시어 전용 프롬프트(예시 없이)조차도 클러스터링 성능을 크게 향상시켜 자연어 지시어만으로도 LLM을 효과적으로 가이드할 수 있음을 시사함.
• LLM이 생성한 제약 조건을 사용한 PCKMeans는 OPIEC59k에서 Macro F1 0.867을 기록하여, 진정한 오라클에 근접한 성능를 낮은 20,000개의 LLM 쿼리로 달성함.

Figure 2: We expand document representations by concatenating them with keyphrase embeddings. The keyphrases are generated by a large language model.