[論文レビュー] Probing Pre-Trained Language Models for Cross-Cultural Differences in Values

Arnav Arora, Lucie-Aimée Kaffee+1 more|arXiv (Cornell University)|Mar 25, 2022

Educator Training and Historical Pedagogy被引用数 6

ひとこと要約

本稿では、ホフステードの文化的次元と世界価値調査（WVS）の質問をクローズ形式のプローブに変換することで、多言語事前学習言語モデル（PLM）がどのように文化的価値を符号化しているかを評価するためのプロービングフレームワークを導入する。PLMは文化的価値の検出可能な違いを捉えているが、既存の調査と一致する程度は弱く、文化的な応用にこのようなモデルを導入する際には、慎重な整合性の調整とデータの吟味が不可欠であることが示唆される。

ABSTRACT

Language embeds information about social, cultural, and political values people hold. Prior work has explored social and potentially harmful biases encoded in Pre-Trained Language models (PTLMs). However, there has been no systematic study investigating how values embedded in these models vary across cultures. In this paper, we introduce probes to study which values across cultures are embedded in these models, and whether they align with existing theories and cross-cultural value surveys. We find that PTLMs capture differences in values across cultures, but those only weakly align with established value surveys. We discuss implications of using mis-aligned models in cross-cultural settings, as well as ways of aligning PTLMs with value surveys.

研究の動機と目的

• 事前学習言語モデル（PLM）が、既存の調査で捉えられた文化的価値の違いをどの程度符号化しているかを調査すること。
• 価値調査の質問をクローズ形式のプロンプトに変換するための体系的なプロービング手法を開発すること。
• PLMが推定する価値と実証的で文化的な調査（ホフステードおよびWVS）との一致度を評価すること。
• 現在のPLMの訓練データに存在する制限要因を同定し、文化的価値の誤表現を引き起こす要因を特定すること。
• 多言語的かつ文化的に多様な文脈において、文化的価値が不一致であるPLMを導入する際の倫理的含意を議論すること。

提案手法

• ホフステードの文化的次元と世界価値調査の質問を、マスクされた言語モデルに適したクローズ形式のプローブに変換する。
• 13のターゲット言語（それぞれ特定の国または地域に関連）にプローブを翻訳し、言語ごとの価値表現の評価を実施する。
• 翻訳されたプローブを用いて、3つの多言語PLM（mBERT、XLM、XLM-R）が各マスクされたトークンの最も可能性の高い補完を予測する。
• プローブ全体にわたるモデルの予測を集約し、言語ごとの文化的価値スコアを推定し、アンケートベースの基準スコアと比較する。
• モデルが推定する価値とアンケートベースの価値との間の相関係数（例：ピアソンおよびスピアーマン）を計算し、一致度を定量化する。
• 言語やモデルごとのモデル行動を分析し、文化的バイアスや不一致のパターンを特定する。

実験結果

リサーチクエスチョン

• RQ1 多言語事前学習言語モデルは、ホフステードの文化的次元で定義された文化的価値の違いをどの程度反映しているか？
• RQ2 PLMが推定する価値は、世界価値調査からの実証的アンケートデータとどの程度相関しているか？
• RQ3 訓練データやモデルアーキテクチャに起因する要因として、PLM出力と既存の文化的調査との間の弱い一致を引き起こす要因は何か？
• RQ4 モデルの予測は言語ごとにどのように変化するのか？ これはPLMにおける文化的表現のあり方を示唆するか？
• RQ5 文化的価値が不一致であるPLMを多言語アプリケーションに導入する際の倫理的リスクは何か？

主な発見

• PLMは文化的な違いに関する検出可能な差を捉えていることから、訓練データからある種の文化的価値表現を学習していることが示唆される。
• PLMが推定する価値とアンケートベースの価値との相関は弱く、ほとんどの次元と言語でピアソン相関係数が0.4未満であることが一般的に観察された。
• 一部の次元（例：権力距離や個人主義）では、他の次元よりも高い一致を示しており、特定の価値が選択的に符号化されている可能性がある。
• モデルのパフォーマンスは言語によって顕著に異なるが、英語やドイツ語のように訓練データが大きく多様である言語では、相関が高くなる傾向が見られた。
• 本研究では、訓練データのバイアス（例：西洋的・英語優位のコンテンツの過剰代表、マイノリティまたはディアスポラの声の不足）が、不一致を引き起こす要因であると同定した。
• 研究結果から、現在のPLMは、グローバルな人口の多様性を反映していない規範的価値を誤って埋め込んでいる可能性があり、文化的な応用において被害を及えるリスクがあると示唆される。