[論文レビュー] Fairness in Forecasting and Learning Linear Dynamical Systems

Quan Zhou, Jakub Mareček+1 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Causal Inference Techniques参考文献 74被引用数 7

ひとこと要約

本稿では、時系列データにおける少数派サブグループの不足バイアス下で、線形動的システム（LDS）の予測に向け、2つのフェアネス指向の学習フレームワーク—サブグループフェアネスとインスタントフェアネス—を導入する。凸化に基づく階層的半定値計画法の緩和を用いた、グローバル収束性を保証する手法を提案し、サブグループ全体にわたるフェアなパフォーマンスを確保する。保険およびCOMPASデータセットにおける実験で、統計的性能の向上と高い実行時間効率を示した。

ABSTRACT

In machine learning, training data often capture the behaviour of multiple subgroups of some underlying human population. When the amounts of training data for the subgroups are not controlled carefully, under-representation bias arises. We introduce two natural notions of subgroup fairness and instantaneous fairness to address such under-representation bias in time-series forecasting problems. In particular, we consider the subgroup-fair and instant-fair learning of a linear dynamical system (LDS) from multiple trajectories of varying lengths, and the associated forecasting problems. We provide globally convergent methods for the learning problems using hierarchies of convexifications of non-commutative polynomial optimisation problems. Our empirical results on a biased data set motivated by insurance applications and the well-known COMPAS data set demonstrate both the beneficial impact of fairness considerations on statistical performance and encouraging effects of exploiting sparsity on run time.

研究の動機と目的

• 特定のサブグループに少ないトレーニング軌道が存在する時系列予測において、少数派バイアスを是正すること。
• サブグループ属性（例：人種、性別）の使用が禁止されている状況においても、サブグループ間のパフォーマンスを均等化することで、LDS学習におけるフェアネスを形式化すること。
• 非可換多項式最適化の凸緩和の階層を用いて、フェアなLDS学習のグローバル収束型最適化手法を開発すること。
• 実世界のデータセット（保険およびCOMPAS）を用いて、フェアネス指向モデルの予測精度と計算効率への影響を評価すること。

提案手法

• サブグループフェアネスを、サブグループごとの平均損失の最大値を、軌道数および長さで重み付けして最小化することで定式化する。
• インスタントフェアネスを、すべてのサブグループおよび時間点における個々の損失の最大値を最小化することで定式化する。
• フェアなLDS学習問題を非可換多項式最適化問題として定式化する。
• 非凸問題をグローバルに解くために、凸緩和の階層（例：NPAおよびTSSOS）を適用する。
• 半定値計画法（SDP）の緩和を用いて、グローバル最適解への収束を保証する。
• データのスパarsityを活用して、特に大規模な時系列設定における実行時間を短縮する。

実験結果

リサーチクエスチョン

• RQ1 異質なサブグループデータを有する線形動的システムの時系列予測において、フェアネスを形式的に定式化することは可能か？
• RQ2 サブグループフェアネスおよびインスタントフェアネスの制約下で、フェアなLDS学習に向けたグローバル収束型最適化手法を開発できるか？
• RQ3 フェアネス制約が、サブグループごとの統計的パフォーマンスおよびモデル精度に与える影響は何か？
• RQ4 フェアなLDS学習において、時間窓長さの増加に伴う計算効率のスケーリング特性はいかなるものか？
• RQ5 既知のバイアスを持つ実世界データセット（例：COMPAS）において、フェアネス指向のLDSモデルは標準モデルを上回る性能を示せるか？

主な発見

• 提案されたサブグループフェアおよびインスタントフェアな学習手法は、非可換多項式最適化の凸緩和の階層を用いて、グローバル収束解を達成した。
• 保険に由来するバイアスのあるデータセットにおいて、フェアネス制約がサブグループ間の予測精度のバランスを取ることで統計的パフォーマンスを向上させた。
• TSSOSの2次SDP緩和は、時間窓長の増加に伴いわずかに実行時間の増加を示し、スケーラビリティにおいて、シンプルなNPA階層を上回った。
• スパarsityの活用により、特に大規模な時系列設定において、実行時間が顕著に短縮された。
• COMPASデータセットにおいて、サブグループフェアモデルは、人種的サブグループ間でリスクスコアを均等化する、滑らかで単調に減少する予測曲線を生成した。これに対して、サブグループ別に学習されたモデルは、系統的な乖離を示した。
• 時間窓長が30期間に達するまで、実行時間は管理可能であり、TSSOS階層は安定した性能成長を示した。