[논문 리뷰] Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning

Huan Ma, Changqing Zhang외 3명|arXiv (Cornell University)|2023. 10. 05.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 콘텐츠 모니터링 분야에서 개인적으로 배포된 대규모 언어 모델(LLM)을 위한 지도적 미세조정 방법을 제안하며, GPT-4와 같은 강력한 LLM으로부터 유도된 추론 체인을 통합하여 모델의 강건성과 해석 가능성을 향상시킨다. 이 방법은 모델의 일반화 능력을 크게 향상시키며, GPT-3.5 수준의 성능을 달성하면서도 도메인 특화, 규정 준수, 비용 효율적인 모니터링 시스템을 가능하게 한다.

ABSTRACT

Nowadays, billions of people engage in communication and express their opinions on the internet daily. Unfortunately, not all of these expressions are friendly or compliant, making content moderation an indispensable task. A common approach is to use a discriminative model to classify the content, but this method often requires strict data engineering, otherwise it will face unacceptable overfitting. With the successful development of Large Language Models (LLMs) in recent years, LLM-based methods have become a feasible solution for handling tasks in various domains. Thanks to the knowledge of the foundation models, we can develop more robust privately deployed models with limited data via fine-tuning these foundation models. Moreover, as a generative model, it can provide detailed analysis of the review process, enhancing interpretability. In this paper, we introduce how to fine-tune a LLM model that can be privately deployed for content moderation. Specifically, we discuss the differences between discriminative and generative models using content moderation as an example. Additionally, we reveal that incorporating reasoning processes during the fine-tuning of LLMs can effectively alleviate overfitting, even if the model is not allowed to directly output reasoning processes during deployment. We present a complete process, from data collection and construction to model training and overfitting elimination, for fine-tuning LLMs in vertical domain deployments. We report the entire research process and the key findings in this paper, hoping to provide valuable experience for researchers who are fine-tuning privately deployed models in their domain-specific research.

연구 동기 및 목표

• 비공개, 도메인 특화 콘텐츠 모니터링 시스템을 개발하여, 규정 준수 및 비용 제약 조건을 충족시킨다.
• 직접 분류를 사용하는 것과 비교하여, 미세조정 과정에서 추론 체인을 통합할 경우 모델의 강건성과 해석 가능성 향상 여부를 조사한다.
• 최소한의 인간 애너테이션으로도 LLM이 생성한 추론을 약한 감독으로 활용할 경우, 미세조정 성능에 미치는 영향을 평가한다.
• SFT에서 데이터 엔지니어링 선택 사항을 분석하며, 소스 LLM에서 유도된 잘못된 추론 출력을 다루는 방법을 포함한다.
• 실세계 콘텐츠 모니터링 시나리오에 적용 가능한 체계적이고 재현 가능한 프레임워크를 제공한다.

제안 방법

• GPT-4와 같은 강력한 LLM이 생성한 모더레이션 레이블과 추론 체인(사고 체인)을 포함한 데이터를 사용하여, 개인적으로 배포된 LLM을 지도적 미세조정(SFT)으로 미세조정한다.
• GPT-4를 활용해 훈련 데이터에 대한 추론 과정을 생성함으로써 약한 감독을 활용하여 고비용의 인간 애너테이션된 체인에 대한 의존도를 줄인다.
• GPT-4에서 유도된 잘못되거나 일관성 없는 추론 출력을 다루기 위해 데이터 엔지니어링 파이프라인을 설계하고, 여러 가지 필터링 및 보정 전략을 평가한다.
• 추론 체인이 포함된 SFT와 포함되지 않은 SFT를 비교하여, 일반화 능력과 분포 외부 강건성에 미치는 영향을 평가한다.
• 두 단계 과정을 구현한다: 첫 번째로, GPT-4를 사용해 추론가속 훈련 데이터를 생성하고, 두 번째로, 표준 SFT 목표를 사용해 대상 LLM을 이 데이터로 미세조정한다.
• 표준 콘텐츠 모니터링 벤치마크에서 모델 성능을 평가하며, 정확도, 강건성, 출력의 해석 가능성 등을 측정한다.

Figure 1: Content Moderation with Auditing Processes. GPT-4 can provide complete auditing processes (left), but sometimes it presents limitations (right).

실험 결과

연구 질문

• RQ1 미세조정 과정에서 추론 체인을 통합할 경우, 개인적으로 배포된 LLM의 일반화 능력과 강건성이 향상되는가?
• RQ2 인간 애너테이션된 체인이 부족한 상황에서 GPT-4가 생성한 추론 체인을 약한 감독으로 활용할 경우, 미세조정 성능에 어떤 영향을 미치는가?
• RQ3 소스 LLM에서 유도된 잘못되거나 환각된 추론 출력이 최종 미세조정된 모델의 성능에 어떤 영향을 미치는가?
• RQ4 손상된 추론 체인을 다루기 위한 다양한 데이터 엔지니어링 전략이 모델 신뢰성과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 추론가속 데이터로 훈련된 개인적으로 배포된 LLM이 콘텐츠 모니터링에서 GPT-3.5 수준의 성능을 달성할 수 있는가?

주요 결과

• 추론 체인을 포함한 미세조정은 직접 분류 미세조정 대비 모델의 일반화 능력과 분포 외부 강건성을 크게 향상시킨다.
• GPT-4가 생성한 추론 체인을 약한 감독으로 활용하면, 최소한의 인간 애너테이션으로도 높은 성능을 달성할 수 있으며, 데이터 준비 비용을 크게 줄일 수 있다.
• GPT-4에서 유도된 잘못된 추론 출력은 모델 성능을 떨어뜨리지만, 신중한 데이터 필터링 및 보정 전략을 통해 이 영향을 완화할 수 있다.
• 추론 체인을 포함한 미세조정을 거친 모델는 콘텐츠 모니터링 벤치마크에서 GPT-3.5 수준의 성능을 달성하여 강력한 경쟁 능력을 입증한다.
• 추론 과정을 통합함으로써 해석 가능성이 향상되어 모더레이션 결정의 투명한 감사가 가능해진다.
• 본 연구는 추론가속 SFT가 제3자 LLM에 의존하는 것과 비교해도 실현 가능하고 확장 가능하며 규정 준수 가능한 대안임을 입증한다.

Figure 2: Framework of fine-tuing privately deployed content moderation model. Fine-tuning LLMs with the pattern $(x_{i},y_{i})$ can lead to severe overfitting. For instance, sentences that contain regional characteristics will be classified into Discrimination or Insult. Incorporating an auditing p