[논문 리뷰] Fair Exploration via Axiomatic Bargaining

Jackie Baek, Vivek F. Farias|arXiv (Cornell University)|2021. 06. 04.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 9

한 줄 요약

이 논문은 축소된 협상 이론, 특히 네쉬 협상 해법을 사용하여 맥락적 밴디트에서 탐색의 공정한 분배 프레임워크를 제안한다. 이는 인구 집단 간 탐색 비용을 공정하게 분배하기 위한 것이다. 논문은 회귀 최적 정책이 열등한 집단에 불공정한 부담을 지우는 것으로 밝혀졌으며, 제안된 공정 정책은 유한한 공정성의 가격을 지닌 거의 최적의 회귀를 달성한다. 이는 와파린 복용량 조절 사례 연구를 통해 검증되었다.

ABSTRACT

Exploration is often necessary in online learning to maximize long-term reward, but it comes at the cost of short-term 'regret'. We study how this cost of exploration is shared across multiple groups. For example, in a clinical trial setting, patients who are assigned a sub-optimal treatment effectively incur the cost of exploration. When patients are associated with natural groups on the basis of, say, race or age, it is natural to ask whether the cost of exploration borne by any single group is 'fair'. So motivated, we introduce the 'grouped' bandit model. We leverage the theory of axiomatic bargaining, and the Nash bargaining solution in particular, to formalize what might constitute a fair division of the cost of exploration across groups. On the one hand, we show that any regret-optimal policy strikingly results in the least fair outcome: such policies will perversely leverage the most 'disadvantaged' groups when they can. More constructively, we derive policies that are optimally fair and simultaneously enjoy a small 'price of fairness'. We illustrate the relative merits of our algorithmic framework with a case study on contextual bandits for warfarin dosing where we are concerned with the cost of exploration across multiple races and age groups.

연구 동기 및 목표

• 온라인 학습 시스템에서 인구 집단 간 탐색 비용의 불균형 분배라는 윤리적 문제를 다루기 위해.
• 특히 네쉬 협상 해법을 포함한 축약된 협상 이론을 사용하여 탐색 비용 할당의 공정성을 수학적으로 정의하기 위해.
• 공정성과 거의 최적의 회귀를 동시에 달성하는 학습 정책을 설계하여 공정성의 가격을 최소화하기 위해.
• 실제 의료 환경에서의 적용을 검증하기 위해, 인종과 연령 집단 간 개인 맞춤형 와파린 복용량 조절에 이 프레임워크를 적용하기 위해.
• 기본적인 회귀 최소화 정책이 본질적으로 열등한 집단을 착취하여 공정성 원칙을 위반한다는 것을 보여주기 위해.

제안 방법

• 각 집단이 별개의 도착 확률과 행동 집합을 가지며, 회귀는 집단별로 측정되는 '그룹화된 밴디트' 모델을 도입한다.
• 초기 유용도를 집단의 개별 최적 성능 대비 회귀 감소량으로 정의하여 협상의 기초를 마련한다.
• 대칭성, 파레토 효율성 등 축약된 성질을 만족시키는 공정성을 확보하기 위해 네쉬 협상 해법을 적용하여 유용도의 곱을 최대화한다.
• 달성 가능한 회귀 프로파일에 대해 네쉬 사회복지 함수(NSW)를 최적화하는 정책을 유도하여 공정성과 성능의 균형을 이룬다.
• 점점 증가하는 회귀 분석과 농도 경계를 사용하여 공정성과 회귀의 상호 작용에 대한 이론적 보장을 확보한다.
• 공정성과 회귀 성능을 비교하기 위해 KL-UCB 및 기타 밴디트 알고리즘을 베이스라인으로 사용한다.

실험 결과

연구 질문

• RQ1 온라인 학습에서 탐색 비용을 다인구 집단 간에 어떻게 공정하게 분배할 수 있는가?
• RQ2 다중 집단 밴디트 설정에서 회귀 비용의 공정한 분배를 정의하는 데 어떤 성질이 필요한가?
• RQ3 기본적인 회귀 최소화 정책이 열등한 집단에 비해 불공정한 부담을 지우며 불평등을 악화시키는 정도는 어느 정도인가?
• RQ4 거의 최적의 회귀를 달성하면서도 집단 간 회귀 분배의 공정성을 보장하는 정책을 설계할 수 있는가?
• RQ5 이러한 프레임워크에서 공정성의 가격—즉, 공정성과 총 회귀 간의 상호 교환 관계—은 무엇인가?

주요 결과

• KL-UCB와 같은 회귀 최적 정책은 가장 열악한 집단에 탐색 비용을 비례적으로 더 많이 지우며, 가장 불공정한 결과를 낳는다.
• 제안된 네쉬 협상 해법 기반 공정 정책은 유한한 공정성의 가격을 확보하여 어느 집단도 불공정하게 높은 회귀 비용을 지지지 않도록 보장한다.
• 이론적 분석을 통해 네쉬 협상 기반 정책은 점점 증가하는 집단 간 회귀 감소량(초기 유용도)의 곱을 최대화함을 보여준다.
• 와파린 복용량 조절 사례 연구에서, 표준 밴디트 정책에 비해 공정 정책은 인종과 연령 집단 간 회귀 격차를 크게 줄였다.
• 네쉬 협상 해법은 핵심 공정성 축약 조건을 유일하게 만족시키므로, 공정한 탐색을 위한 근거 있는 선택임이 입증되었다.
• 논문은 공정 정책의 점점 증가하는 회귀가 최적의 회귀의 일정한 배수 범위 내에 있음을 입증하여, 공정성이 성능을 희생시키지 않음을 보였다.