[論文レビュー] CultureLLM: Incorporating Cultural Differences into Large Language Models
CultureLLMはWorld Values Survey seedsと意味データ拡張を用いたコスト効率の高いファインチューニング手法を提案し、文化差をLLMに組み込むことで、複数言語とタスクにわたり文化対応の強力な性能を実現します。
Large language models (LLMs) are reported to be partial to certain cultures owing to the training data dominance from the English corpora. Since multilingual cultural data are often expensive to collect, existing efforts handle this by prompt engineering or culture-specific pre-training. However, they might overlook the knowledge deficiency of low-resource culture and require extensive computing resources. In this paper, we propose CultureLLM, a cost-effective solution to incorporate cultural differences into LLMs. CultureLLM adopts World Value Survey (WVS) as seed data and generates semantically equivalent training data via the proposed semantic data augmentation. Using only 50 seed samples from WVS with augmented data, we fine-tune culture-specific LLMs and one unified model (CultureLLM-One) for 9 cultures covering rich and low-resource languages. Extensive experiments on 60 culture-related datasets demonstrate that CultureLLM significantly outperforms various counterparts such as GPT-3.5 (by 8.1%) and Gemini Pro (by 9.5%) with comparable performance to GPT-4 or even better. Our human study shows that the generated samples are semantically equivalent to the original samples, providing an effective solution for LLMs augmentation. Code is released at https://github.com/Scarelette/CultureLLM.
研究の動機と目的
- ファインチューニングに多様な文化的価値観を組み込むことによって、LLMの文化的バイアスを低減する。
- 意味的に等価な訓練サンプルを生成するコスト効果の高いデータ拡張パイプラインを開発する。
- 高リソース文化と低リソース文化の両方を対象とする文化特化型と統一モデルのファインチューニングを行う。
提案手法
- World Values Survey (WVS) から7つのトピックをカバーする50のシードサンプルを文化シードとして選択する。
- 意味テンプレート生成とそのままのサンプル生成からなる意味データ拡張によって意味的に等価な訓練サンプルを生成する。
- シードと拡張データを用いて、CultureLLM-Ar、CultureLLM-Tr などの文化特化型LLMと統一型CultureLLM-Oneをファインチューニングする。
- 9文化にわたる60の文化関連テストセット(68,672サンプル)に対して、GPT-3.5、Gemini Pro、GPT-4のベースラインで評価する。
- オープンエンド生成能力を調査し、BBHおよびGSM8Kでの崩壊忘却への耐性を評価する。

実験結果
リサーチクエスチョン
- RQ1文化的差異を効率的かつ低コストでLLMに埋め込むにはどうすればよいか。
- RQ2意味データ拡張は文化を超えて意味的に等価で多様な訓練サンプルを生み出すか。
- RQ3言語を超えた文化関連タスクで、文化特化型および統一型CultureLLMは強力なベースラインを上回るか。
- RQ4文化データでファインチューニングしたときに壊滅的忘却の証拠はあるか。
- RQ5CultureLLMはオープンソースLLMおよびオープンエンド生成タスクに拡張できるか。
主な発見
- CultureLLMは60の文化関連データセットにおける平均F1でGPT-3.5を8.1%、Gemini Proを9.5%上回る。
- CultureLLM-OneはGPT-4の性能に近づき、タスク全般で競争力があるが、文化特化型モデルの方が優れている。
- 拡張サンプル500件でファインチューニングすると性能と汎化の最適なバランスが得られ、サンプル数が多すぎると精度が低下する場合がある。
- 人間評価ではシードと拡張サンプルの意味的等価性が平均96.5%であることを示す。
- CultureLLMはBBHとGSM8Kで崩壊的忘却に対する耐性を示し、一般的な推論能力を向上させる可能性がある。

この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。