[論文レビュー] Towards a more efficient bias detection in financial language models

Firas Hadj Kacem, Ahmed Khanfir+1 more|arXiv (Cornell University)|Mar 9, 2026

Stock Market Forecasting Methods被引用数 0

ひとこと要約

研究は大規模な実金融文データセットを用いて5つの金融系言語モデルのバイアスを分析し、共通のバイアスパターンを示し、コスト削減のためのモデル間横断の誘導バイアス検出を提案する。

ABSTRACT

Bias in financial language models constitutes a major obstacle to their adoption in real-world applications. Detecting such bias is challenging, as it requires identifying inputs whose predictions change when varying properties unrelated to the decision, such as demographic attributes. Existing approaches typically rely on exhaustive mutation and pairwise prediction analysis over large corpora, which is effective but computationally expensive-particularly for large language models and can become impractical in continuous retraining and releasing processes. Aiming at reducing this cost, we conduct a large-scale study of bias in five financial language models, examining similarities in their bias tendencies across protected attributes and exploring cross-model-guided bias detection to identify bias-revealing inputs earlier. Our study uses approximately 17k real financial news sentences, mutated to construct over 125k original-mutant pairs. Results show that all models exhibit bias under both atomic (0.58\%-6.05\%) and intersectional (0.75\%-5.97\%) settings. Moreover, we observe consistent patterns in bias-revealing inputs across models, enabling substantial reuse and cost reduction in bias detection. For example, up to 73\% of FinMA's biased behaviours can be uncovered using only 20\% of the input pairs when guided by properties derived from DistilRoBERTa outputs.

研究の動機と目的

• 保護属性に mutated された実金融文を用いて、5つの金融系言語モデル（2つの生成モデル、3つのエンコーダ）におけるバイアスを評価する。
• モデル間で共有されるバイアスを露出させる入力が再利用可能かどうかを探る。
• 計算量と推論コストを削減するための横断モデルガイダンスによるバイアス検出を評価する。
• 性別、人種、体属性に関する原子性および交差的バイアスを定量化する。
• 金融NLP展開におけるバイアス監査を加速する実用的戦略を特定する。

提案手法

• HInter を用いて実金融文を変異させ、原子性および交差属性の変更を行う。
• 5モデル（FinMA、FinGPT、FinBERT、DeBERTa-v3、DistilRoBERTa）において、元の入力と変異後の入力の感情予測を実行する。
• 元の入力と変異入力の感情ラベルが異なる場合にバイアスを検出する。
• モデル間のバイアス検出比を計算し、バイアス露出入力の重複を分析する。
• Jensen–Shannon 距離とコサイン類似度で予測の変化を測定し、非フリップ型のバイアスを捉える。
• 他モデルの予測に基づいて入力を優先順位付けすることで、横断モデルガイダンスによるバイアス検出を評価し、ランダム入力順序と比較する。

実験結果

リサーチクエスチョン

• RQ1 金融言語モデルは保護属性（性別、人種、体）に対して原子性および交差的バイアスを示すのか。
• RQ2 バイアス露出入力はモデル間で共有され、入力の再利用によるバイアス検出が可能か。
• RQ3 軽量モデルを用いた横断モデルガイダンスは、大規模モデルで信頼性を損なうことなくバイアス検出を加速できるか。

主な発見

Model	Atomic (Body)	Inter. (Body)	Atomic (Gender)	Inter. (Gender)	Atomic (Race)	Inter. (Race)	Total (Atomic)	Total (Inter.)	Total Hidden (Inter.)
FinMA	9.23%	7.48%	2.77%	2.25%	3.25%	3.29%	3.99%	3.23%	4.05%
FinGPT	5.39%	2.77%	6.10%	6.55%	6.13%	6.07%	6.05%	5.97%	31.29%
FinBERT	1.89%	1.88%	0.69%	0.88%	0.25%	0.41%	0.58%	0.75%	30.34%
DeBERTa-v3	1.69%	1.67%	0.70%	0.89%	0.30%	0.46%	0.60%	0.75%	29.95%
DistilRoBERTa	1.69%	1.67%	0.70%	0.89%	0.30%	0.46%	0.60%	0.75%	29.95%

• すべての5モデルは、原子性および交差的設定で異なる大きさのバイアスを示す。
• 軽量モデルは、原子性および交差的設定において大規模モデルより全体的なバイアスが低い。
• バイアス露出入力の重複は分類モデル同士で高く（共有率は94%以上）、分類モデルと生成モデル間では低い。
• 予測が軽量モデルの予測から導かれる横断モデルのバイアス検出は、少数の入力で大規模モデルの大半のバイアスを発見できる（例：FinMAのバイアスの73%を20%の入力で発見） 。
• バイアス露出入力は非バイアス露出入力より予測シフト（JSD）を大きくする傾向があり、横断モデルの優先順位付け戦略を支持する。
• 同様のモデルファミリー間でバイアス入力を再利用することは監査コストを削減することを支持する。