[논문 리뷰] Questioning the assumptions behind fairness solutions

Rebekah Overdorf, Bogdan Kulynych외 3명|arXiv (Cornell University)|2018. 11. 27.

Ethics and Social Impacts of AI참고 문헌 21인용 수 16

한 줄 요약

이 논문은 기계학습에서 공정성 솔루션의 기초가 되는 가정을 도전하며, 서비스 제공자들이 종종 공정하게 최적화하는 데 필요한 동기나 수단을 갖추지 못해 해로운 외부 효과가 발생함을 주장한다. 이를 바탕으로 사용자 및 환경 기반의 방어 기술인 보호 최적화 기술(POTs)을 제안한다. 이는 시스템 외부의 영향을 데이터 오염, 입력 조작, 적대적 기법을 통해 완화함으로써 편향과 남용의 영향을 줄이는 데 목적이 있다.

ABSTRACT

In addition to their benefits, optimization systems can have negative economic, moral, social, and political effects on populations as well as their environments. Frameworks like fairness have been proposed to aid service providers in addressing subsequent bias and discrimination during data collection and algorithm design. However, recent reports of neglect, unresponsiveness, and malevolence cast doubt on whether service providers can effectively implement fairness solutions. These reports invite us to revisit assumptions made about the service providers in fairness solutions. Namely, that service providers have (i) the incentives or (ii) the means to mitigate optimization externalities. Moreover, the environmental impact of these systems suggests that we need (iii) novel frameworks that consider systems other than algorithmic decision-making and recommender systems, and (iv) solutions that go beyond removing related algorithmic biases. Going forward, we propose Protective Optimization Technologies that enable optimization subjects to defend against negative consequences of optimization systems.

연구 동기 및 목표

• 서비스 제공자(OSP)가 공정성 솔루션을 효과적으로 구현할 동기나 수단을 갖춘다는 가정을 도전하는 것.
• 최적화 시스템이 전통적인 공정성 프레임워크의 범위를 넘어서 환경적 피해, 사용자 남용, 배제 등 해로운 외부 효과를 생성하는 방식을 부각하는 것.
• 현재의 공정성 접근 방식이 분포 이동, 비사용자 배제, 환경 파괴와 같은 체계적 문제를 해결하지 못한다는 점을 주장하는 것.
• 영향을 받는 개인 및 공동체가 외부에서 최적화 피해에 대응할 수 있도록 허용하는 새로운 종류의 방어 기술인 보호 최적화 기술(POTs)을 제안하는 것.
• 단지 OSP에 의존하는 것이 아니라, 최종 사용자와 환경이 부정적인 최적화 결과를 완화하는 데 능동적으로 참여할 수 있도록 하는 대안적 신뢰 모델을 주장하는 것.

제안 방법

• 기본 알고리즘을 수정하지 않고도 사용자 및 공동체가 최적화 시스템 결과에 영향을 줄 수 있도록 하는 외부 방어 기술로 보호 최적화 기술(POTs)을 제안한다.
• 최적화 시스템이 인구 및 환경에 미치는 영향을 모델링하여 비사용자 배제, 불공정한 사용자 우선순위 부여, 환경 위험 외부화 등의 핵심 외부 효과를 식별한다.
• 학습 데이터를 오염시키거나 대체 입력을 조작함으로써 최적화 시스템의 행동을 더 공정한 방향으로 이동시키는 적대적 기계학습 기법을 사용한다.
• Waze 경로 조작, 우버 슈게 협력, Adnauseam과 같은 광고 클릭 플러그인과 같은 실제 사례들을 바탕으로 형식적인 POT 설계를 영감받는다.
• 개인정보 보호 기반 기술(PETs)과 기존의 적대적 사용자 행동 연구의 통찰을 통합하여 강력하고 사용자 중심의 방어 기술을 설계한다.
• 실제 피드백 루프와 예기치 않은 결과를 고려할 수 있도록 통합적인 시스템-환경 상호작용 모델링을 강조한다.

실험 결과

연구 질문

• RQ1 서비스 제공자가 행동할 동기나 수단을 갖추지 못할 경우, 현재의 공정성 솔루션이 왜 최적화 시스템이 유발하는 외부 효과를 해결하지 못하는가?
• RQ2 사용자나 공동체가 시스템 설계나 데이터에 포함되지 않은 상황에서 해로운 최적화 결과로부터 어떻게 스스로 방어할 수 있는가?
• RQ3 기본 알고리즘을 수정하지 않고도 최적화 시스템에 대한 외부 간섭을 가능하게 하는 실현 가능한 기술적 메커니즘은 무엇인가?
• RQ4 기존의 사용자 수준의 대응 전략(예: 위조된 교통 보고, 광고 클릭 플러그인)은 형식화되고 확장 가능한 보호 최적화 기술의 설계에 어떻게 기여하는가?
• RQ5 서비스 제공자로부터 책임을 이행하고, 최적화 피해를 완화하는 데 능동적인 최종 사용자 및 공동체를 중심으로 하는 새로운 신뢰 모델은 어떻게 개발할 수 있는가?

주요 결과

• 서비스 제공자들이 공정성 솔루션을 구현할 동기나 수단을 갖추지 못하는 경우가 많으며, Waze가 주거 지역을 통해 차량을 유도하거나 페이스북이 수익을 위해 사용자 시청 시간을 과장하는 사례에서 이를 확인할 수 있다.
• 최적화 시스템은 환경적 피해, 비사용자 배제, 사용자 및 공동체에 대한 위험 외부화 등 상당한 외부 효과를 유발한다.
• 기존의 공정성 접근 방식은 분포 이동과 같은 체계적 문제를 해결하지 못한다. 분포 이동은 모델이 훈련 도메인 외부에 배포될 경우 성능이 떨어지는 현상이다.
• 실제 사용자 대응 전략—예를 들어 지역 주민의 교통 보고, 광고 클릭 플러그인—은 외부에서 이루어지는 사용자 기반 간섭이 시스템 행동을 효과적으로 변화시킬 수 있음을 보여준다.
• 보호 최적화 기술(POTs)은 데이터 오염, 입력 조작, 적대적 기법을 통해 사용자가 시스템 결과에 영향을 줄 수 있도록 하여 실현 가능한 길을 제시한다.
• POTs 개발을 위해서는 제공자 중심의 신뢰 모델에서 사용자 및 환경 중심의 모델로의 전환 필요성이 있으며, 이는 현실 세계의 복잡성과 예상치 못한 결과를 고려할 수 있도록 해야 한다.