[논문 리뷰] Leveraging Large Language Models for Topic Classification in the Domain of Public Affairs

Alejandro Peña, Aythami Morales외 6명|arXiv (Cornell University)|2023. 06. 05.

Computational and Text Analysis Methods참고 문헌 19인용 수 4

한 줄 요약

이 논문은 피인정된 대규모 언어 모델(Large Language Models, LLMs)과 하이브리드 분류기들을 사용하여 스페인어 공공 정책 문서에 대한 다중 레이블 주제 분류 시스템을 제안한다. RoBERTa 기반 LLM과 SVM 분류기의 조합이 특히 저자료 환경에서 뛰어난 성능을 보이며, 신경망과 랜덤 포레스트를 능가하며, 대부분의 주제에서 F1 스코어가 80%를 초과함을 입증한다. 이는 클래스 불균형이 존재하더라도 성립한다.

ABSTRACT

The analysis of public affairs documents is crucial for citizens as it promotes transparency, accountability, and informed decision-making. It allows citizens to understand government policies, participate in public discourse, and hold representatives accountable. This is crucial, and sometimes a matter of life or death, for companies whose operation depend on certain regulations. Large Language Models (LLMs) have the potential to greatly enhance the analysis of public affairs documents by effectively processing and understanding the complex language used in such documents. In this work, we analyze the performance of LLMs in classifying public affairs documents. As a natural multi-label task, the classification of these documents presents important challenges. In this work, we use a regex-powered tool to collect a database of public affairs documents with more than 33K samples and 22.5M tokens. Our experiments assess the performance of 4 different Spanish LLMs to classify up to 30 different topics in the data in different configurations. The results shows that LLMs can be of great use to process domain-specific documents, such as those in the domain of public affairs.

연구 동기 및 목표

• 규정 변화의 영향을 받는 시민과 기업을 위해 공공 정책 문서의 자동 분석을 향상시키기 위해.
• 제한된 레이블 데이터를 가진 스페인어 입법 문서에서 다중 레이블 주제 분류 문제를 해결하기 위해.
• 최근 스페인어 LLM과 하이브리드 모델(LM + 분류기)의 효과성을 평가하기 위해.
• NLP와 문서 레이아웃 분석을 활용한 규제 변화 모니터링을 위한 확장 가능한 파이프라인을 개발하기 위해.
• 공공 행정 분야의 도메인 특화 주제 분류에 최적의 LLM과 분류기 조합을 규명하기 위해.

제안 방법

• 정규 표현식 기반의 애너테이션 툴을 사용하여 2년간의 스페인 의회 제안안에서 33,000건 이상의 다중 레이블 공공 정책 문서를 수집하였다.
• 데이터셋을 전처리하고 도메인 전문가가 애너테이션한 총 385개 주제 중에서 빈도가 높은 30개 주제를 선별하였다.
• 텍스트 이해 및 임베딩 생성을 위해 세 개의 RoBERTa 기반 인코더 모델과 하나의 생성형 LLM을 피지컬 튜닝하였다.
• LLM 임베딩과 신경망, 랜덤 포레스트, SVM의 세 가지 분류기를 조합하여 다중 레이블 주제 분류를 수행하였다.
• LLM 처리 이전에 문서 레이아웃 분석(DLA)을 수행하기 위해 랜덤 포레스트를 사용하여 의미적 텍스트 블록을 추출하였다.
• 웹 하이버, DLA 모듈(블록 분류용), LLM 기반 텍스트 처리(주제 추론용)로 구성된 3단계 시스템을 구축하였다.

실험 결과

연구 질문

• RQ1 제한된 학습 데이터를 가진 공공 정책 문서에서 스페인어 LLM의 다중 레이블 주제 분류 성능는 얼마나 효과적인가?
• RQ2 이 도메인에서 주제 분류 성능을 높이기 위해 어떤 LLM과 하류 분류기 조합이 가장 우수한가?
• RQ3 클래스 불균형과 낮은 샘플 수는 다양한 LLM 기반 분류 설정의 성능에 어떤 영향을 미치는가?
• RQ4 신경망과 랜덤 포레스트에 비해 SVM은 저자원 주제 분류에서 음성 클래스에 대한 편향을 어떻게 완화할 수 있는가?
• RQ5 이러한 제로샷 또는 피샷 주제 분류 작업에서 RoBERTa 기반 모델은 생성형 LLM보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• SVM 분류기와 RoBERTa-base 임베딩 조합이 모든 주제에서 가장 높은 TPR(True Positive Rate)를 기록하였으며, 대부분의 주제에서 평균 TPR이 80%를 초과하였고, 2,000건 미만의 샘플이 존재하는 경우에도 성립하였다.
• 랜덤 포레스트 분류기는 특히 저자원 주제에서 성능이 열악했으며, 클래스 불균형과 임베딩 공간에서의 일반화 능력 부족으로 인해 대부분의 경우 음성 클래스만 예측하였다.
• 신경망 분류기는 고자원 주제에서는 SVM과 유사한 성능를 보였지만, 저자료 환경에서는 더 높은 변동성과 낮은 강건성을 보였다.
• SVM-RoBERTa 조합은 랜덤 포레스트와 신경망에 비해 음성 클래스에 대한 편향을 줄였으며, 특히 2,000건 미만의 샘플을 가진 주제에서 두드러졌다.
• 주제 15의 경우, SVM 모델이 70%의 TPR을 기록하여 RoBERTa-NN 모델(61% TPR)을 크게 앞섰다. 이는 불균형 데이터를 더 잘 다루는 것을 시사한다.
• 결과적으로, 공공 정책 분야의 저자원, 다중 레이블 분류 작업에서 LLM 임베딩의 피지컬 튜닝에 대해 SVM이 신경망과 랜덤 포레스트보다 더 효과적임을 시사한다.