[논문 리뷰] Fairness in Forecasting and Learning Linear Dynamical Systems

Quan Zhou, Jakub Mareček외 1명|arXiv (Cornell University)|2020. 06. 12.

Advanced Causal Inference Techniques참고 문헌 74인용 수 7

한 줄 요약

이 논문은 시간 시계열 데이터에서의 과소대표성 편향 하에서 선형 동적 시스템(LDS)의 예측을 위한 두 가지 공정성 인식 학습 프레임워크—하위군 공정성 및 순순간 공정성—을 소개한다. 하위군 간 공정한 성능을 보장하기 위해 반정형 프ogram밍(SDP) 이론의 계층적 풀이를 기반으로 한 전역 수렴 가능한 볼록화 기반 방법을 제안하며, 보험 및 COMPAS 데이터셋에서 뛰어난 통계적 성능과 효율적인 런타임을 입증한다.

ABSTRACT

In machine learning, training data often capture the behaviour of multiple subgroups of some underlying human population. When the amounts of training data for the subgroups are not controlled carefully, under-representation bias arises. We introduce two natural notions of subgroup fairness and instantaneous fairness to address such under-representation bias in time-series forecasting problems. In particular, we consider the subgroup-fair and instant-fair learning of a linear dynamical system (LDS) from multiple trajectories of varying lengths, and the associated forecasting problems. We provide globally convergent methods for the learning problems using hierarchies of convexifications of non-commutative polynomial optimisation problems. Our empirical results on a biased data set motivated by insurance applications and the well-known COMPAS data set demonstrate both the beneficial impact of fairness considerations on statistical performance and encouraging effects of exploiting sparsity on run time.

연구 동기 및 목표

• 일부 하위군의 학습 트레이젝터리가 적은 시간 시계열 예측에서의 과소대표성 편향을 해결한다.
• 특정 하위군 특성(예: 인종, 성별)을 사용할 수 없을 경우, 하위군 간 성능을 동일하게 맞추는 방식으로 LDS 학습에서의 공정성을 정식화한다.
• 비교교환 다항식 최적화의 계층적 볼록화를 활용해 공정한 LDS 학습을 위한 전역 수렴 최적화 방법을 개발한다.
• 실세계 데이터셋(보험이나 COMPAS)을 대상으로 공정성 인식 모델을 평가하여 예측 정확도와 계산 효율성에 미치는 영향을 분석한다.

제안 방법

• 하위군 공정성을 정의하기 위해, 트레이젝터리 수와 길이에 가중치를 부여한 하위군 간 평균 손실의 최대값을 최소화한다.
• 순순간 공정성을 정의하기 위해, 모든 하위군과 시간 포인트에서의 개별 손실의 최대값을 최소화한다.
• 공정한 LDS 학습 문제를 비교교환 다항식 최적화 문제로 수식화한다.
• 비볼록 문제를 전역적으로 해결하기 위해 볼록화 풀이의 계층적 접근(예: NPA 및 TSSOS)을 적용한다.
• 반정형 프로그래밍(SDP) 풀이를 활용해 전역 최적해로 수렴하도록 보장한다.
• 데이터의 희소성을 활용하여 런타임을 줄이며, 특히 대규모 시간 시계열 환경에서 효율성을 높인다.

실험 결과

연구 질문

• RQ1 비균일한 하위군 데이터를 가진 선형 동적 시스템의 시간 시계열 예측에서 공정성을 어떻게 정식화할 수 있는가?
• RQ2 하위군 공정성 및 순순간 공정성 제약 조건 하에서 공정한 LDS 학습을 위한 전역 수렴 최적화 방법을 개발할 수 있는가?
• RQ3 공정성 제약 조건이 하위군 간 통계적 성능 및 모델 정확도에 어떤 영향을 미치는가?
• RQ4 공정한 LDS 학습에서 시간 창 길이 증가에 따라 계산 효율성은 어떻게 변화하는가?
• RQ5 기존 편향이 알려진 실세계 데이터셋(예: COMPAS)에서 공정성 인식 LDS 모델이 표준 모델을 능가할 수 있는가?

주요 결과

• 제안된 하위군 공정성 및 순순간 공정성 학습 방법은 비교교환 다항식 최적화의 볼록화 계층을 통해 전역 수렴 해를 달성한다.
• 보험이나 유사한 편향된 데이터셋에서, 공정성 제약 조건이 하위군 간 예측 정확도를 균형 있게 맞추며 통계적 성능을 향상시켰다.
• TSSOS의 2차 SDP 풀이에서 시간 창 길이 증가에 따라 런타임 증가 폭이 미미했으며, 일반적인 NPA 계층보다 확장성 면에서 뛰어났다.
• 희소성 활용이 특히 대규모 시간 시계열 환경에서 런타임을 크게 줄였다.
• COMPAS 데이터셋에서 하위군 공정성 모델은 인종 하위군 간 위험 점수를 균일하게 맞추는 단일한 매끄럽고 단조 감소하는 예측 곡선을 생성했으며, 하위군별 모델은 체계적인 편차를 보였다.
• 시간 창 길이가 최대 30 단위까지 증가하더라도 런타임은 관리 가능했으며, TSSOS 계층은 안정적인 성능 성장을 보였다.