[論文レビュー] How Costly is Noise? Data and Disparities in Consumer Credit

Laura Blattner, Scott Nelson|arXiv (Cornell University)|May 17, 2021

Housing Market and Economics参考文献 49被引用数 13

ひとこと要約

本論文は、スコアリングモデルの欠陥ではなく、元の信用報告書データの欠陥に起因するため、歴史的に支援が不足していたグループ（特にマイノリティおよび低所得者）におけるデフォルトリスク予測としての信用スコアが、統計的にノイジーであることを示している。米国住宅ローン市場の構造的モデルを推定することで、著者らは信用スコアの精度を均等化すれば、ローン承認率の格差と信用の誤配分を約50％削減できることを示しており、データ品質が信用格差の主な要因であることを強調している。

ABSTRACT

We show that lenders face more uncertainty when assessing default risk of historically under-served groups in US credit markets and that this information disparity is a quantitatively important driver of inefficient and unequal credit market outcomes. We first document that widely used credit scores are statistically noisier indicators of default risk for historically under-served groups. This noise emerges primarily through the explanatory power of the underlying credit report data (e.g., thin credit files), not through issues with model fit (e.g., the inability to include protected class in the scoring model). Estimating a structural model of lending with heterogeneity in information, we quantify the gains from addressing these information disparities for the US mortgage market. We find that equalizing the precision of credit scores can reduce disparities in approval rates and in credit misallocation for disadvantaged groups by approximately half.

研究の動機と目的

• 米国住宅ローン市場における、歴史的に支援が不足していたグループにおける信用スコアが、デフォルトリスクの予測としてどれほど信頼性が低いのかを調査すること。
• これらのグループにおける信用スコアの予測力が低下する原因が、スコアリングアルゴリズムの欠陥にあるのか、それとも、その背後にある信用報告書データの欠陥にあるのかを特定すること。
• 情報格差が信用のアクセスと配分効率に与える経済的影響を数量的に評価すること。
• 格差が生じる低所得者へのデータ品質の改善が、信用市場における格差を低減する上で得られる潜在的利益を評価すること。
• 機械学習の進歩が、これらの格差を解消できるのか、それとも、データ収集の構造的変化が不可欠なのかを評価すること。

提案手法

• 著者らは、TransUnionの匿名化された消費者信用報告書データ（5000万人の消費者）を、公的不動産所有権および住宅ローン取引データ、貸金元のローンデータ、およびInfutorの社会経済的特徴を含むマーケティングデータセットと統合した。
• マージナリーオファー拒否者における未観測のデフォルトリスクを特定するため、インストゥルメンタル変数法を用い、グループごとのモデル適合度と誤差率を推定した。
• 還元形分析により、VantageScore 3.0のR²およびAUCを異なる人種的・文化的背景のグループ間で比較し、予測力の差を数量化した。
• 高度な機械学習モデルを適用して、観察された性能格差に寄与する要因としてのモデリングバイアス（アルゴリズム的要因）とデータバイアス（信用報告書の品質）の寄与度を分離した。
• 異質な情報源を用いる競争的ローン提供者を想定した構造的モデルを推定し、マージナルな申請者と平均的申請者の差異および逆回帰検定から、情報の精度を推定した。
• 反事実的シミュレーションを実施し、信用スコアの精度を均等化した場合の承認率格差および信用の誤配分への影響を推定した。

実験結果

リサーチクエスチョン

• RQ1 広く使われている信用スコアが、マイノリティおよび低所得者にとってどれほどデフォルトリスクの予測として不正確であるのか。
• RQ2 支援が不足しているグループにおける信用スコアの予測精度が低下するのは、スコアリングアルゴリズムの欠陥によるのか、それとも、その背後にある信用報告書データの欠陥によるのか。
• RQ3 信用アクセス格差および誤配分の観察された格差の何パーセントが、人種的・文化的背景ごとの情報精度の差に起因しているのか。
• RQ4 信用スコアの精度を均等化することで得られる経済的および公平性上の利点はどの程度か。
• RQ5 機械学習モデルの改善のみで格差を解消できるのか、それとも、データ品質の改革が不可欠なのか。

主な発見

• マイノリティおよび低所得者において、信用スコアの予測力が著しく低いことが判明し、非マイノリティグループと比較してAUCで7–9ポイント、R²で16–18ポイントの格差が生じている。
• 信用スコアの性能格差の大部分は、データバイアス（具体的には、スパarsityおよび信用報告書データの低品質）に起因しており、スコアリングアルゴリズムのモデリングバイアスによるものではない。
• 観察可能なデータ特性（例：スリムなファイル、データのスパarsity）によって、全体のスコアの説明力格差の約半分を説明できる。
• 信用スコアの精度を均等化することで、ローン承認率の格差は約50％削減され、そのうち50％はマイノリティ申請者における不適切な拒否（タイプIエラー）の減少に起因する。
• 低所得者申請者においては、承認率格差の削減はより限定的（0.8ポイント）であり、主に不適切な承認（タイプIIエラー）の減少によるもので、信号の明確さ向上に起因する効率性の向上を示している。
• 構造的モデルの推定結果から、マイノリティ申請者の信用スコアノイズの標準偏差は、非マイノリティに比べて約2倍高く、この差が、信用アクセスおよび誤配分の推定格差の約半分を説明している。