[논문 리뷰] Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

Yida Mu, Peizhen Bai외 2명|arXiv (Cornell University)|2024. 05. 01.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 GPT-3.5-turbo가 도메인 지시사항에 대해 99.3%의 준수율을 보이는 데 반해, 오픈소스 LLM인 Mistral-7B와 같은 모델은 오직 8.6%의 준수율을 보이며, 이는 오픈소스 모델에서 환각 위험이 높다는 것을 시사한다. 이를 바탕으로, 본 연구는 DPO 기반의 피팅 훈련 방법을 제안하여 주제의 정밀도를 향상시키고 환각을 감소시킨다. 특히 인간의 레이블링 없이도 합성된 선호 신호를 생성하는 복원 파이프라인을 활용함으로써, 악성 프롬프트 상황에서도 환각률이 1%로 낮아지고 지시사항 준수율은 97%에 도달한다.

ABSTRACT

Large language models (LLMs) with their strong zero-shot topic extraction capabilities offer an alternative to probabilistic topic modelling and closed-set topic classification approaches. As zero-shot topic extractors, LLMs are expected to understand human instructions to generate relevant and non-hallucinated topics based on the given documents. However, LLM-based topic modelling approaches often face difficulties in generating topics with adherence to granularity as specified in human instructions, often resulting in many near-duplicate topics. Furthermore, methods for addressing hallucinated topics generated by LLMs have not yet been investigated. In this paper, we focus on addressing the issues of topic granularity and hallucinations for better LLM-based topic modelling. To this end, we introduce a novel approach that leverages Direct Preference Optimisation (DPO) to fine-tune open-source LLMs, such as Mistral-7B. Our approach does not rely on traditional human annotation to rank preferred answers but employs a reconstruction pipeline to modify raw topics generated by LLMs, thus enabling a fast and efficient training and inference framework. Comparative experiments show that our fine-tuning approach not only significantly improves the LLM's capability to produce more coherent, relevant, and precise topics, but also reduces the number of hallucinated topics.

연구 동기 및 목표

• LLM 기반 주제 모델링에서 환각 위험에 대한 체계적인 연구가 부족한 점을 해결하기 위해.
• 지시사항에 따라 LLM이 생성하는 주제의 정밀도를 높이고, 유사 또는 관련 없는 주제를 줄이기 위해.
• 인간의 레이블링 없이도 확장 가능한 피팅 훈련 파이프라인을 개발하여 LLM의 인간 의도와 일치하는 일관되고 관련성 있고 정밀한 주제 생성 능력을 향상시키기 위해.
• LLM 기반 주제 모델링에서 주제 품질을 측정하기 위한 즉시 사용 가능한 평가 프로토콜을 제공하기 위해.

제안 방법

• 모델 출력이 원하는 주제 특성과 일치하도록 하기 위해, 오픈소스 LLM(Mistral-7B)을 Direct Preference Optimization(DPO)를 사용해 피팅 훈련한다.
• 인간의 레이블링 순위가 필요 없이도 원시 LLM 생성 주제를 합성된 선호 쌍(선호되는 vs. 기각되는)으로 변환하는 복원 파이프라인을 설계한다.
• 초기 주제와 정밀도 지시사항을 사용하여 모델이 관련성 있고 환각이 없는 주제를 생성하도록 지도 신호를 제공한다.
• 딥 레이어를 통해 환각 주제 정보가 어떻게 확산되는지 분석하기 위해 주의 히트맵 분석을 수행한다.
• 프롬프트 변형과 주제 일관성 검사에서 유래한 합성 선호 데이터를 사용해, 공격적 프롬프트 상황에서도 강건성을 향상시키기 위해 모델을 훈련한다.
• 다양한 LLM과 프롬프트에서 주제의 일관성, 관련성, 환각률을 측정하기 위한 즉시 사용 가능한 평가 프레임워크를 구현한다.

Figure 1: Four real-world examples consist of the given document (grey), user prompt (blue), and issues associated with LLM-generated topics (see legends with different colours). Examples (a) and (b) demonstrate issues with inconsistent naming; i.e., LLMs tend to generate topics with different forma

실험 결과

연구 질문

• RQ1 특히 악성 또는 복잡한 프롬프트 상황에서, 시장에 유통되는 LLM이 주제 모델링에 사용될 때 환각의 정도는 어느 정도인가?
• RQ2 초기 주제와 정밀도 지시사항은 LLM이 환각 주제를 생성하는 데 얼마나 효과적으로 기여하는가?
• RQ3 인간의 레이블링이 없는 선호 데이터를 사용해 DPO 기반 피팅 훈련이 주제의 정밀도를 향상시키고 유사 주제를 줄이는 데 효과적인가?
• RQ4 피팅된 LLM의 주의 메커니즘은 기초 모델과 비교해 환각 주제 정보를 어떻게 집계하는가?
• RQ5 복원 기반 파이프라인은 주제 모델링에서 LLM 훈련을 위한 효과적인 선호 신호를 얼마나 잘 생성할 수 있는가?

주요 결과

• GPT-3.5-turbo는 도메인 지시사항 준수율이 99.3%에 이르지만, 오픈소스 LLM인 Mistral-7B는 오직 8.6%에 그쳐, 오픈소스 모델에서 환각 위험이 높다는 것을 시사한다.
• 제안된 TopicMistral 모델은 악성 프롬프트 상황에서 환각률을 1%로 낮추었으며, 기초 Mistral-7B 모델의 7%에 비해 크게 향상되었다.
• TopicMistral는 지시사항 준수율이 97%에 이르며, 기초 Mistral-7B 모델의 16%에 비해 뚜렷한 우월성을 보였다.
• 주의 히트맵 분석 결과, TopicMistral는 깊은 레이어에서 환각 주제 정보의 유입을 줄여, 부정확한 예측의 억제가 향상됨을 보여주었다.
• 초기 주제를 사용할 경우 환각률이 더욱 낮아지며, 복잡한 프롬프트 상황에서도 TopicMistral는 환각률을 1%로 유지하여, 초기 주제가 환각 완화 전략으로서 중요한 역할을 함을 입증했다.
• TopicMistral는 관련 주제를 탐지하는 데 76%의 정확도를 기록하여, 기초 Mistral-7B 모델의 68%보다 뛰어나며, 특히 내용이 없거나 관련이 없을 경우에도 뛰어난 성능을 보였다.

Figure 2: An example prompt used in our work: Text enclosed by the special tokens ‘ [/INST] ’ denotes the user instruction; red and blue colours denote the Granularity Description and Seed Topics, respectively.