[論文レビュー] Binary Choice with Asymmetric Loss in a Data-Rich Environment: Theory and an Application to Racial Justice

Andrii Babii, Xi Chen+2 more|arXiv (Cornell University)|Oct 16, 2020

Census and Population Estimation被引用数 5

ひとこと要約

本稿は、予測審査留置などの高リスク意思決定で一般的な、非対称かつ共変量依存の損失関数に下でのバイナリ分類の計算的に効率的なフレームワークを提案する。ロジスティック回帰や最先端の機械学習モデルの再重み付けによって実現される。コストセンシティブ学習の理論的保証を確立し、任意の非対称損失関数に対して最適な意思決定を単純な再重み付けによって達成できることを示し、データ豊富な環境下でも統計的一貫性や計算可能性を損なわないことを示している。

ABSTRACT

We study the binary choice problem in a data-rich environment with asymmetric loss functions. The econometrics literature covers nonparametric binary choice problems but does not offer computationally attractive solutions in data-rich environments. The machine learning literature has many algorithms but is focused mostly on loss functions that are independent of covariates. We show that theoretically valid decisions on binary outcomes with general loss functions can be achieved via a very simple loss-based reweighting of the logistic regression or state-of-the-art machine learning techniques. We apply our analysis to racial justice in pretrial detention.

研究の動機と目的

• 一般非対称損失関数下での計算可能で理論的裏付けのあるバイナリ選択の解決策に関する経済推計学および機械学習分野におけるギャップを埋めること。
• 共変量駆動の損失関数を伴うコストセンシティブ分類を可能にする統一的フレームワークを構築すること。これは、予測審査留置、雇用、融資といった現実世界の意思決定に関連する。
• 任意の非対称損失関数下での再重み付けロジスティック回帰および現代の機械学習モデル（例：ブースティング、DNN）の理論的一貫性と収束速度を確立すること。
• 本手法を、意思決定コストが非対称かつ共変量依存であるがゆえに人種的差異が生じる実世界の政策問題（例：予測審査留置）に適用すること。
• 経済推計学の理論と機械学習の実践の溝を埋めるために、非対称損失構造下で広く使われるアルゴリズムに統計的保証を提供すること。

提案手法

• 中心的な手法は、一般非対称損失関数 ℓ(f(x), y, x) を、データに依存する重みに変換し、経験的リスク最小化の目的関数を再定式化すること。
• 共変量 x 条件付きの期待損失に基づいて訓練例を再重み付けすることで、ロジスティック回帰や深層ニューラルネットワークなどの標準モデルが非対称コストを最適化できるようにする。
• 理論的分析では、擬似次元および被覆数の境界を用いて、再重み付けモデルの一般化誤差率を導出。高次元データ下でも一貫性を保証する。
• パラメトリック（例：ロジスティック回帰）およびノンパラメトリック（例：DNN、ブースティング）推定器をサポートする。収束速度は経験過程理論を用いて導出される。
• 経験的リスクに対する理論的境界を通じて、損失関数およびモデルクラスにややいなごろしの正則性条件が課せられれば、再重み付け推定量が最適な収束速度に達することを実証。
• 擬似次元に基づく被覆数境界および一様集中不等式を用いて、DNNなど複数のモデルクラスに対して理論的保証を確立。

実験結果

リサーチクエスチョン

• RQ1 高次元データ環境下で、一般非対称損失関数に下るバイナリ分類に対して、計算的に効率的な手法を開発できるか？
• RQ2 ロジスティック回帰、ブースティング、深層ニューラルネットワークなどの標準機械学習モデルを、理論的一貫性を損なわず、非対称意思決定コストを最適化できるように適応できるか？
• RQ3 任意の非対称損失関数下での再重み付けモデルの理論的一般化誤差率は何か？ また、モデルの複雑さとデータ次元にどのように依存するか？
• RQ4 提案された再重み付けフレームワークは、人種的差異や非対称な結果を伴う実世界の政策問題（例：予測審査留置）に適用可能か？
• RQ5 損失関数の構造とそれによる意思決定ルールとの統計的関係は何か？特に、しきい値設定と共変量駆動のトレードオフの観点から。

主な発見

• 本稿は、任意の非対称損失関数下での最適な意思決定が、モデルアーキテクチャを変更せずに単純な訓練データの再重み付けによって達成可能であることを確立した。
• 再重み付けモデルの理論的収束速度が導出され、誤差率が (V_n log(n/V_n)/n)^{κ/(2κ−1)} のオーダーで減少することが示された。ここで V_n はモデルクラスの擬似次元である。
• 損失関数およびデータ分布にややいなごろしの正則性条件が課せられれば、深層ニューラルネットワークを含む広範なモデルクラスに対して統計的一貫性が達成される。
• 本手法は計算的に効率的であり、XGBoost、LASSO、DNNs などの最先端の機械学習モデルにも適用可能であり、データ豊富な環境での実用性を有する。
• 予測審査留置への応用により、誤って留置された場合と危険人物を解放した場合の非対称コストに基づく再重み付けが、より公平かつ費用効果の高い意思決定ルールをもたらすことが明らかになった。
• 理論的境界により、損失関数が複雑で共変量依存であっても、再重み付けアプローチが最適な一般化性能を維持することが確認された。