[論文レビュー] Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning

Huan Ma, Changqing Zhang+3 more|arXiv (Cornell University)|Oct 5, 2023

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

本稿では、コンテンツモデレーションにおけるプライベートにデプロイされた大規模言語モデル（LLM）向けに、GPT-4などの強力なLLMから得られる推論チェーンを統合することで、堅牢性と解釈可能性を向上させる教師あり微調整（SFT）手法を提案する。この手法は、一般化性能を顕著に向上させ、GPT-3.5と同等の性能を達成しつつ、ドメイン特化型で準拠可能かつコスト効率の良いモデレーションシステムを実現する。

ABSTRACT

Nowadays, billions of people engage in communication and express their opinions on the internet daily. Unfortunately, not all of these expressions are friendly or compliant, making content moderation an indispensable task. A common approach is to use a discriminative model to classify the content, but this method often requires strict data engineering, otherwise it will face unacceptable overfitting. With the successful development of Large Language Models (LLMs) in recent years, LLM-based methods have become a feasible solution for handling tasks in various domains. Thanks to the knowledge of the foundation models, we can develop more robust privately deployed models with limited data via fine-tuning these foundation models. Moreover, as a generative model, it can provide detailed analysis of the review process, enhancing interpretability. In this paper, we introduce how to fine-tune a LLM model that can be privately deployed for content moderation. Specifically, we discuss the differences between discriminative and generative models using content moderation as an example. Additionally, we reveal that incorporating reasoning processes during the fine-tuning of LLMs can effectively alleviate overfitting, even if the model is not allowed to directly output reasoning processes during deployment. We present a complete process, from data collection and construction to model training and overfitting elimination, for fine-tuning LLMs in vertical domain deployments. We report the entire research process and the key findings in this paper, hoping to provide valuable experience for researchers who are fine-tuning privately deployed models in their domain-specific research.

研究の動機と目的

• 人的アノテーションコストと準拠要件を満たすプライベートでドメイン特化型のコンテンツモデレーションシステムを、微調整されたLLMを用いて構築すること。
• 直接分類と比較して、微調整時に推論チェーンを統合することで、モデルの堅牢性と解釈可能性が向上するかを調査すること。
• 人的アノテーションが限られる状況において、LLMが生成する推論チェーンを用いた弱い教師信号が微調整性能に与える影響を評価すること。
• SFTにおけるデータエンジニアリングの意思決定、特にソースLLMから出力される誤ったまたは一貫性のない推論出力をどう処理するかを分析すること。
• 実世界のコンテンツモデレーションシナリオにおける微調整済みLLMのデプロイを体系的かつ再現可能に行うフレームワークを提供すること。

提案手法

• GPT-4などの強力なLLMが生成する推論チェーン（チェーン・オブ・トゥークン）とモデレーションラベルを含むデータを用いて、プライベートにデプロイされたLLMを教師あり微調整（SFT）で微調整する。
• 人的アノテート済みチェーンに依存するのを減らすために、GPT-4を用いてトレーニングデータの推論プロセスを生成することで弱い教師信号を活用する。
• GPT-4が生成する誤ったまたは一貫性のない推論出力に対処するためのデータエンジニアリングパイプラインを設計し、複数のフィルタリングおよび補正戦略を評価する。
• 推論チェーンを含む・含まないSFTを比較することで、モデルの一般化性能および分布外の堅牢性に与える影響を評価する。
• 2段階のプロセスを実装する：まず、GPT-4を用いて推論を補強したトレーニングデータを生成する。次に、標準的なSFT目的関数を用いて、ターゲットLLMをこのデータで微調整する。
• 標準的なコンテンツモデレーションベンチマークを用いてモデル性能を評価し、精度、堅牢性、出力の解釈可能性を測定する。

Figure 1: Content Moderation with Auditing Processes. GPT-4 can provide complete auditing processes (left), but sometimes it presents limitations (right).

実験結果

リサーチクエスチョン

• RQ1 微調整時に推論チェーンを統合することで、プライベートにデプロイされたLLMの一般化性能と堅牢性が向上するか？
• RQ2 人的アノテート済みチェーンが不足する状況において、GPT-4が生成する推論チェーンを用いた弱い教師信号が微調整性能に与える影響は何か？
• RQ3 ソースLLMから生じる誤ったまたは幻覚的な推論出力が、最終的な微調整済みモデルの性能に与える影響は何か？
• RQ4 誤った推論チェーンに対処するための異なるデータエンジニアリング戦略が、モデルの信頼性と解釈可能性に与える影響は何か？
• RQ5 推論を補強したデータで微調整されたプライベートにデプロイされたLLMは、GPT-3.5と同等のコンテンツモデレーション性能を達成できるか？

主な発見

• 推論チェーンを含む微調整は、直接分類用の微調整と比較して、モデルの一般化性能と分布外の堅牢性を顕著に向上させる。
• GPT-4が生成する推論チェーンを弱い教師信号として活用することで、人的アノテーションを最小限に抑え、高い性能を達成でき、データ準備コストを削減できる。
• GPT-4が出力する誤った推論はモデル性能を低下させるが、適切なデータフィルタリングおよび補正戦略により、その影響を緩和できる。
• 推論チェーンを統合した微調整により、モデルはコンテンツモデレーションベンチマークでGPT-3.5と同等の性能を達成し、強力な競争力を持つことが示された。
• 推論プロセスの統合により、モデレーション意思決定の透明な監査が可能になり、解釈性が向上する。
• 本研究は、推論を補強したSFTが、第三者LLMに依存するのとは異なり、実用的でスケーラブルかつ準拠可能なコンテンツモデレーションの代替手段であることを示している。

Figure 2: Framework of fine-tuing privately deployed content moderation model. Fine-tuning LLMs with the pattern $(x_{i},y_{i})$ can lead to severe overfitting. For instance, sentences that contain regional characteristics will be classified into Discrimination or Insult. Incorporating an auditing p