[논문 리뷰] Long-Term Fairness with Unknown Dynamics

Tongxin Yin, Reilly Raab외 2명|arXiv (Cornell University)|2023. 04. 19.

Evolutionary Game Theory and Cooperation인용 수 6

한 줄 요약

이 논문은 동적 인구에서 미지의 동역학을 가진 장기적 공정성을 위한 강화학습 프레임워크를 제안한다. 에이전트들은 단기적 효용을 희생하여 장기적으로 더 나은 공정성과 효용 결과를 달성하도록 학습한다. L-UCBFair라는 알고리즘을 도입하여 고확률 하위선형 손실 및 왜곡 한계를 확보하였으며, 시뮬레이션 및 실제 실험을 통해 강화학습이 이른바 이른바 최적화로는 달성할 수 없는 공정한 평형 상태에 도달할 수 있음을 입증하였다.

ABSTRACT

While machine learning can myopically reinforce social inequalities, it may also be used to dynamically seek equitable outcomes. In this paper, we formalize long-term fairness in the context of online reinforcement learning. This formulation can accommodate dynamical control objectives, such as driving equity inherent in the state of a population, that cannot be incorporated into static formulations of fairness. We demonstrate that this framing allows an algorithm to adapt to unknown dynamics by sacrificing short-term incentives to drive a classifier-population system towards more desirable equilibria. For the proposed setting, we develop an algorithm that adapts recent work in online learning. We prove that this algorithm achieves simultaneous probabilistic bounds on cumulative loss and cumulative violations of fairness (as statistical regularities between demographic groups). We compare our proposed algorithm to the repeated retraining of myopic classifiers, as a baseline, and to a deep reinforcement learning algorithm that lacks safety guarantees. Our experiments model human populations according to evolutionary game theory and integrate real-world datasets.

연구 동기 및 목표

• 누적 손실과 공정성 제약 조건을 고려한 장기적 공정성을 강화학습 문제로 공식화하여 정적 공정성 공식화의 한계를 해결한다.
• 단기적 효용을 희생하여 알려지지 않은 시스템 동역학에 적응하고 더 바람직한 장기적 평형 상태에 도달할 수 있도록 알고리즘을 개발한다.
• 일반적인 동역학 가정 하에 누적 손실과 공정성 위반(왜곡)에 대한 이론적 보장을 제공한다.
• 제한적인 가정 없이 딥 강화학습 방법을 활용하여 장기적 공정성에 대한 실용적 적용 가능성을 입증한다.
• 이른바 최적화 학습으로는 달성할 수 없는 공정성 개념, 예를 들어 자격률 균형이 장기적 강화학습을 통해 달성될 수 있음을 보여준다.

제안 방법

• 누적 손실과 누적 공정성 위반(왜곡)을 최소화하는 제약 조건이 있는 온라인 강화학습 문제로 장기적 공정성을 공식화하며, 공정성은 인구 집단 간 통계적 편향으로 정의된다.
• UCB 스타일 탐색 기반의 온라인 강화학습 알고리즘인 L-UCBFair를 제안하였으며, 약한 동역학 가정 하에 고확률 하위선형 손실 및 왜곡 한계를 확보함을 증명하였다.
• 시간에 따라 변화하는 정규화를 사용한 라그랑주 이론을 적용하여 TD3 알고리즘을 R-TD3로 변형함으로써 연속적인 상태 및 행동 공간에서의 실용적 구현을 가능하게 하였다.
• 진화 게임 이론을 활용해 인구 상태의 동역학을 모델링하며, 개인의 행동(예: 자격률)이 분류기 정책에 따라 변화함을 수식화하였다.
• 실제 데이터셋(예: Adult 데이터셋)을 재가중하여 시뮬레이션에서 집단 간 균형 임베딩을 보장한다.
• 단계적 포트레이트와 슬라이딩 윈도우 평균을 활용해 장기적 시스템 동역학과 손실 및 공정성 지표의 학습 수렴을 시각화한다.

실험 결과

연구 질문

• RQ1 알고리즘이 결정에 적응하는 인구의 동적 변화를 고려할 때, 강화학습을 활용해 장기적 공정성을 달성할 수 있는가?
• RQ2 알려지지 않은 시스템 동역학 하에서, 강화학습 에이전트가 단기적 효용을 희생하여 더 공정한 장기적 평형 상태에 도달할 수 있는가?
• RQ3 연속적이고 비볼록적이며 알려지지 않은 동역학 시스템에서 누적 손실과 공정성 위반에 대한 이론적 보장을 확보할 수 있는가?
• RQ4 TD3 기반의 딥 강화학습 방법인 R-TD3는 이론적 보장 없이도 유사한 공정성 결과를 달성할 수 있으며, 이는 증명된 안전 알고리즘과 비교해 어떻게 다를 수 있는가?
• RQ5 이른바 최적화 분류로는 이룰 수 없는 공정성 개념, 예를 들어 자격률 균형은 장기적 강화학습을 통해 달성될 수 있는가?

주요 결과

• L-UCBFair는 고확률 하에 하위선형 손실 및 왜곡 한계를 확보하여 약한 가정 하에 이론적 안전성과 최적 평형 상태 수렴을 입증하였다.
• 시뮬레이션 실험에서 L-UCBFair는 인구가 전면 자격(Pr(Y=1) → 1)에 도달하도록 이끌었고, 반면 이른바 최적화 분류기는 전면 비자격(Pr(Y=1) → 0)으로 이끌었다.
• 재가중된 Adult 데이터셋에서 L-UCBFair는 그룹 간 평균 자격률을 [0.49, 0.38]로 유지하였으며, 유의미한 진짜 양성률을 확보하여 이른바 최적화 정책에서 관찰되는 붕괴 현상을 피했다.
• R-TD3는 유사한 장기적 행동을 보였지만, 뚜렷한 단기 공정성 위반을 겪었고, 국소 최적점으로 수렴하지 못하여 안전성 보장의 부재를 드러냈다.
• 그림 4에서 L-UCBFair와 R-TD3는 모두 자격률 균형(QR)을 달성했지만, L-UCBFair는 R-TD3가 찾은 최적 평형에 도달하지 못했으며, 이는 탐색과 수렴 간의 상충 관계를 시사한다.
• 결과는 장기적 공정성을 위한 강화학습가 장기적 공정성의 이론적 기반을 제공하며, 이는 이른바 최적화로는 달성할 수 없는 평형 상태를 실현할 수 있음을 확인한다.