[논문 리뷰] A Classification of Feedback Loops and Their Relation to Biases in Automated Decision-Making Systems

Nicolò Pagan, Joachim Baumann외 4명|arXiv (Cornell University)|2023. 05. 10.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 동역학 시스템 이론을 활용하여 기계학습 기반 의사결정 시스템 내 피드백 루프를 체계적으로 분류한다. 다섯 가지 유형—표본 추출, 개인, 특성, 결과, 모델 피드백 루프—를 식별하며, 각각 특정 편향과 연결된다. 시뮬레이션을 통해 피드백 루프가 편향을 유지하거나 강화하거나 심지어 감소시킬 수 있음을 입증하며, 자동화된 시스템에서 장기적 공정성 개선을 위한 원칙적인 프레임워크를 제공한다.

ABSTRACT

Prediction-based decision-making systems are becoming increasingly prevalent in various domains. Previous studies have demonstrated that such systems are vulnerable to runaway feedback loops, e.g., when police are repeatedly sent back to the same neighborhoods regardless of the actual rate of criminal activity, which exacerbate existing biases. In practice, the automated decisions have dynamic feedback effects on the system itself that can perpetuate over time, making it difficult for short-sighted design choices to control the system's evolution. While researchers started proposing longer-term solutions to prevent adverse outcomes (such as bias towards certain groups), these interventions largely depend on ad hoc modeling assumptions and a rigorous theoretical understanding of the feedback dynamics in ML-based decision-making systems is currently missing. In this paper, we use the language of dynamical systems theory, a branch of applied mathematics that deals with the analysis of the interconnection of systems with dynamic behaviors, to rigorously classify the different types of feedback loops in the ML-based decision-making pipeline. By reviewing existing scholarly work, we show that this classification covers many examples discussed in the algorithmic fairness community, thereby providing a unifying and principled framework to study feedback loops. By qualitative analysis, and through a simulation example of recommender systems, we show which specific types of ML biases are affected by each type of feedback loop. We find that the existence of feedback loops in the ML-based decision-making pipeline can perpetuate, reinforce, or even reduce ML biases.

연구 동기 및 목표

• 기계학습 기반 의사결정 시스템 내 피드백 루프에 대한 엄밀한 이론적 이해가 부족한 데 기인한 문제를 해결하기 위해, 현재 장기적 공정성 간섭 조치를 제한하고 있다.
• 순차적 의사결정 파이프라인 내 피드백 루프의 동적이고 변화하는 성격을 분석함으로써, 단기적 시각에 머무르는 편향 완화 기법을 넘어서기 위해 노력한다.
• 알고리즘 공정성 문헌에서 논의된 다양한 현상을 포괄하는 통합적이고 원칙적인 피드백 루프 분류 체계를 제공하기 위해 노력한다.
• 특정 피드백 루프 유형이 영향을 미치는 ML 편향 유형과 연결하여, 타겟팅된 완화 전략 수립을 가능하게 한다.
• 향후 연구를 위한 기반을 마련하기 위해, 편향 증폭을 사전에 예측하고 방지할 수 있는 제어기 및 피드백 인지 시스템 설계에 기여한다.

제안 방법

• 기계학습 의사결정 파이프라인을 동적 피드백을 가진 상호 연결된 시스템으로 모델링하기 위해 동역학 시스템 이론의 프레임워크를 채택한다.
• 파이프라인의 어떤 구성 요소가 영향을 받는지에 따라 다섯 가지 별개의 피드백 루프 유형—표본 추출, 개인, 특성, 결과, 모델 피드백 루프—을 정의한다.
• 결정이 개인의 전략적 반응을 유도해 시스템 입력을 변화시키는 경우를 고려하여 '적대적 피드백 루프'를 특수한 케이스로 도입한다.
• 정성적 분석과 시뮬레이션된 추천 시스템을 활용하여 각 피드백 루프 유형이 편향 증폭 또는 감소에 미치는 영향을 입증한다.
• 제어 이론과 최적 운반 이론 도구를 적용하여, 피드백 인지 설계에서 공정성 제약 조건을 시스템 목표로 통합하는 방법을 탐색한다.
• 피드백 루프 분류를 체계적으로 정형화하여 기존 문헌의 체계적 재해석과 연구 간 가정의 일치를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 의사결정 파이프라인 내에서 발생할 수 있는 피드백 루프의 고유한 유형은 무엇이며, 어떻게 체계적으로 분류할 수 있는가?
• RQ2 다양한 피드백 루프 유형이 특정 ML 편향의 증폭, 감소 또는 지속에 어떻게 영향을 미치는가?
• RQ3 의사결정 파이프라인 내 피드백 루프는 정적 시스템을 대상으로 한 단기적 공정성 간섭 조치를 어떻게 위협하는가?
• RQ4 개인이 결정에 전략적으로 반응함으로써 시스템에 영향을 미치는 적대적 피드백 루프는 공식적으로 모델링되고 다른 루프 유형과 어떻게 구분될 수 있는가?
• RQ5 제어 이론과 최적 운반 이론은 장기적으로 편향을 사전 방지할 수 있는 피드백 인지 시스템을 설계하는 데 어떻게 활용될 수 있는가?

주요 결과

• 이 논문은 표본 추출, 개인, 특성, 결과, 모델 피드백 루프의 다섯 가지 고유한 피드백 루프 유형을 식별하며, 각각 ML 파이프라인의 다른 부분에 영향을 주고 편향에 고유한 방식으로 영향을 미친다.
• 피드백 루프는 루프 유형과 시스템 맥락에 따라 편향을 유지하거나 강화하거나 심지어 감소시킬 수 있으며, 이는 피드백이 항상 편향을 증폭시킨다는 가정을 도전한다.
• 개인이 결정에 반응하여 행동을 변화시키는 적대적 피드백 루프는 별개의 중요한 피드백 역학 유형으로서 중요한 특성과 의미를 지닌다.
• 추천 시스템의 시뮬레이션을 통해 결과 피드백 루프와 모델 피드백 루프가 특히 향후 데이터 수집에 영향을 미칠 경우에 심각한 편향 증폭을 유도할 수 있음을 입증한다.
• 이 프레임워크를 통해 기존의 공정성 문헌을 체계적으로 재해석할 수 있으며, 이는 이전 연구에서 암묵적 또는 명시적으로 가정된 피드백 루프 유형을 명확히 한다.
• 제어 이론과 최적 운반 이론의 통합은 성능 최적화를 동시에 달성하면서도 공정성을 제약 조건으로 강제하는 제어기를 설계할 수 있는 길을 열어준다.