[论文解读] Fairness in Forecasting and Learning Linear Dynamical Systems

Quan Zhou, Jakub Mareček+1 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Causal Inference Techniques参考文献 74被引用 7

一句话总结

本论文提出了两种公平意识学习框架——子群公平性和即时公平性——用于在时间序列数据中存在代表性不足偏差的线性动态系统（LDS）预测中。该研究提出基于凸松弛的全局收敛方法，利用半定规划松弛的层次结构，确保在不同子群中实现公平的性能表现，并在保险和COMPAS数据集上展示了改进的统计性能和高效的运行时间。

ABSTRACT

In machine learning, training data often capture the behaviour of multiple subgroups of some underlying human population. When the amounts of training data for the subgroups are not controlled carefully, under-representation bias arises. We introduce two natural notions of subgroup fairness and instantaneous fairness to address such under-representation bias in time-series forecasting problems. In particular, we consider the subgroup-fair and instant-fair learning of a linear dynamical system (LDS) from multiple trajectories of varying lengths, and the associated forecasting problems. We provide globally convergent methods for the learning problems using hierarchies of convexifications of non-commutative polynomial optimisation problems. Our empirical results on a biased data set motivated by insurance applications and the well-known COMPAS data set demonstrate both the beneficial impact of fairness considerations on statistical performance and encouraging effects of exploiting sparsity on run time.

研究动机与目标

• 解决时间序列预测中某些子群训练轨迹较少所导致的代表性不足偏差问题。
• 通过在子群间均衡性能来形式化LDS学习中的公平性，尤其在禁止使用子群属性（如种族、性别）的情况下。
• 基于非交换多项式优化的凸松弛层次结构，开发用于公平LDS学习的全局收敛优化方法。
• 在真实世界数据集（保险和COMPAS）上评估公平意识模型，以评估其对预测准确率和计算效率的影响。

提出的方法

• 将子群公平性定义为最小化各子群最大平均损失，按轨迹数量和长度加权。
• 将即时公平性定义为最小化所有子群和时间点上的最大个体损失。
• 将公平LDS学习问题形式化为非交换多项式优化问题。
• 应用凸松弛层次结构（如NPA和TSSOS）以全局求解非凸问题。
• 使用半定规划（SDP）松弛确保收敛至全局最优解。
• 利用数据中的稀疏性以减少运行时间，尤其在大规模时间序列场景中。

实验结果

研究问题

• RQ1 如何在具有异质性子群数据的线性动态系统时间序列预测中正式定义公平性？
• RQ2 能否为在子群公平性和即时公平性约束下的公平LDS学习开发全局收敛的优化方法？
• RQ3 公平约束对不同子群的统计性能和模型准确率有何影响？
• RQ4 公平LDS学习中，计算效率如何随时间窗口长度变化？
• RQ5 公平意识LDS模型能否在已知存在偏差的真实数据集（如COMPAS）中优于标准模型？

主要发现

• 所提出的子群公平和即时公平学习方法通过非交换多项式优化的凸松弛层次结构实现了全局收敛解。
• 在基于保险数据的有偏数据集上，公平约束通过平衡各子群间的预测准确率，提升了统计性能。
• TSSOS二阶SDP松弛在时间窗口长度增加时表现出适度的运行时间增长，其可扩展性优于普通的NPA层次结构。
• 利用稀疏性显著减少了运行时间，尤其在大规模时间序列场景中。
• 在COMPAS数据集上，子群公平模型生成了一条单一、平滑且单调递减的预测曲线，使不同种族子群的风险评分趋于一致，而子群特定模型则表现出系统性差异。
• 即使时间窗口长达30个周期，运行时间仍保持可控，且TSSOS层次结构表现出稳定的性能增长。