[논문 리뷰] Wrong side of the tracks: Big Data and Protected Categories

Simon DeDeo|arXiv (Cornell University)|2014. 12. 15.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 11

한 줄 요약

이 논문은 빅데이터에서의 알고리즘적 차별 문제에 대해, 데이터 내 강한 상관관계로 인해 기계학습 모델이 보호되는 범주(예: 인종, 성별)에 기반한 결정을 의도하지 않게 내릴 수 있음을 보여주며, 정보이론을 활용해 예측을 보호 변수로부터 상관관계를 없애는 방법을 제안한다. 이는 정확도 손실를 최소화하면서도, 향후 원인 인식 알고리즘의 개발을 통해 자동화된 의사결정의 윤리적 투명성과 민주적 책임성을 보장하는 데 기여한다.

ABSTRACT

When we use machine learning for public policy, we find that many useful variables are associated with others on which it would be ethically problematic to base decisions. This problem becomes particularly acute in the Big Data era, when predictions are often made in the absence of strong theories for underlying causal mechanisms. We describe the dangers to democratic decision-making when high-performance algorithms fail to provide an explicit account of causation. We then demonstrate how information theory allows us to degrade predictions so that they decorrelate from protected variables with minimal loss of accuracy. Enforcing total decorrelation is at best a near-term solution, however. The role of causal argument in ethical debate urges the development of new, interpretable machine-learning algorithms that reference causal mechanisms.

연구 동기 및 목표

• 빅데이터 알고리즘이 인종, 성별, 사회경제적 지위와 같은 보호되는 범주와의 상관관계에 의존함으로써 윤리적으로 문제적인 결정을 내릴 수 있는 방식을 규명하는 것.
• 원인적 투명성이 결여된 정확하고 양심적인 알고리즘이나 차별을 유지하거나 악화시킬 수 있음을 보여주는 것.
• 정확도 손실가능성을 최소화하면서도 보호 변수에 대한 의존도를 줄이는 실용적인 기술적 해결책으로 정보이론적 상관관계 제거를 제안하는 것.
• 정책 및 거버넌스 분야에서 윤리적이고 민주적인 의사결정을 지원할 수 있는 해석 가능하고 원인 기반 기계학습 모델의 개발을 촉구하는 것.
• 자동화된 시스템 내 숨겨진 가정과 도덕적 추론을 검토할 수 있도록 알고리즘 상자를 '열어주는' 알고리즘 투명성과 공적 논의의 필요성을 강조하는 것.

제안 방법

• 정보이론을 활용해 예측을 수학적으로 열악하게 조정하여 보호 변수로부터 상관관계를 제거함으로써 정확도 손실를 최소화하는 방법.
• 결과 균형화를 한계 경우로 적용하여 보호 변수와의 상관관계 제거가 예측에 미치는 영향을 평가하는 방법.
• 암묵적인 원인 모델을 역공학적으로 분석하기 위해 기여도 전파와 베이지안 목록 기계를 제안하는 방법.
• 원인 추론 프레임워크를 활용해 알고리즘 결정이 윤리 기준과 일치하는지 평가하는 방법, 특히 형량 결정이나 대출과 같은 맥락에서의 적용.
• 예측과 보호 특성 간의 통계적 독립성을 강제하면서도 예측 성능를 유지하는 방법을 제시하는 것.
• 기업과 정부가 핵심 알고리즘 기능을 공개하여 전문가 및 공적 심의를 가능하게 하기 위한 제도적 약속을 촉구하는 것.

실험 결과

연구 질문

• RQ1 기계학습 모델이 보호되는 변수를 명시적으로 사용하지 않더라도, 데이터의 상관관계로 인해 인종, 성별 등 보호 범주에 기반한 결정을 간접적으로 내릴 수 있는 방식은 무엇인가?
• RQ2 예측 정확도를 최소한으로 유지하면서도 예측 결과를 인종이나 성별과 같은 보호 변수로부터 상관관계를 없앨 수 있는 정도는 어느 정도인가?
• RQ3 암묵적으로 내장된 원인 모델을 역공학적으로 분석하기 위해 사용할 수 있는 수학적 및 계산적 방법은 무엇인가?
• RQ4 고성능 알고리즘에서 원인 설명이 부재할 경우, 민주적 논의와 윤리적 책임성은 어떻게 약화되는가?
• RQ5 정보이론적 접근이 더 투명하고 윤리적으로 바람직한 알고리즘 의사결정으로 이어지는 데 어떻게 기여할 수 있는가?

주요 결과

• 보호되는 범주(예: 인종, 성별)와 비보호 변수(예: 쇼핑 습관, 전기 사용량) 사이의 강한 상관관계는, 해당 범주가 모델에 명시적으로 사용되지 않더라도 간접적 차별을 초래할 수 있다.
• 정보이론적 상관관계 제거 방법은 보호 변수에 대한 의존도를 최소화하면서도 정확도 손실를 최소화하여, 알고리즘 편향 문제에 대한 실용적인 단기 해결책을 제공한다.
• 결과 균형화 방법은 한계 경우로 작용하여 모델 예측이 보호 특성에 얼마나 의존하는지 드러내며, 문제적 상관관계를 명확히 한다.
• 현재의 고성능 알고리즘은 원인 설명을 제공하지 못하는 경우가 많아, 결정이 윤리적으로 정당한지 여부를 평가하기 어렵다.
• 투명성이 없으면 시민과 정책 입안자들이 공공 정책을 형성하는 데 영향을 미치는 모델을 검토할 수 없어, 정의와 평등성에 관한 민주적 논의가 불가능해진다.
• 기여도 전파와 베이지안 목록 기계와 같은 해석 가능하고 원인 기반 기계학습 모델의 개발은 윤리적이고 투명하며 책임감 있는 알고리즘 시스템으로 나아가는 길을 제시한다.