[논문 리뷰] Fairness in Learning: Classic and Contextual Bandits

Matthew Joseph, Michael Kearns외 2명|arXiv (Cornell University)|2016. 05. 23.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 192

한 줄 요약

이 논문은 맥락 밴딧에서의 개별 공정성을 정의하고, 공정성과 학습 성능 사이의 근본적인 트레이드오프를 보여주며, 엄격한 후회 경계와 KWIK-공정성과의 연결을 제시한다.

ABSTRACT

We introduce the study of fairness in multi-armed bandit problems. Our fairness definition can be interpreted as demanding that given a pool of applicants (say, for college admission or mortgages), a worse applicant is never favored over a better one, despite a learning algorithm's uncertainty over the true payoffs. We prove results of two types. First, in the important special case of the classic stochastic bandits problem (i.e., in which there are no contexts), we provide a provably fair algorithm based on "chained" confidence intervals, and provide a cumulative regret bound with a cubic dependence on the number of arms. We further show that any fair algorithm must have such a dependence. When combined with regret bounds for standard non-fair algorithms such as UCB, this proves a strong separation between fair and unfair learning, which extends to the general contextual case. In the general contextual case, we prove a tight connection between fairness and the KWIK (Knows What It Knows) learning model: a KWIK algorithm for a class of functions can be transformed into a provably fair contextual bandit algorithm, and conversely any fair contextual bandit algorithm can be transformed into a KWIK learning algorithm. This tight connection allows us to provide a provably fair algorithm for the linear contextual bandit problem with a polynomial dependence on the dimension, and to show (for a different class of functions) a worst-case exponential gap in regret between fair and non-fair learning algorithms

연구 동기 및 목표

• 결정이 개인에게 영향을 미치는 순차적 의사결정에서 공정성을 연구하도록 동기를 부여한다.
• 맥락 밴딧에 대한 정확한 개별 공정성 기준을 정의한다.
• 전통적(클래식) 설정과 맥락 설정 모두에서 공정성을 강제하는 학습 비용을 특징짓다.

제안 방법

• 덜 평균인 팔을 더 높은 평균의 팔보다 우선시하는 것을 금지하는 델타-공정성(delta-fairness) 개념을 밴딧 알고리즘에 도입한다.
• 팔 간 페어웨이 공정성을 강요하기 위해 연결된 신뢰구간을 사용하는 UCB의 공정한 변형인 FairBandits를 제안한다.
• 전통적 설정에서 팔의 수 k에 대한 세제곱 의존성을 보이는 FairBandits의 후회 경계를 도출한다.
• 어떤 공정 알고리즘이든 Omega(k^3) 시간에 걸쳐 매 라운드 일정한 후회를 겪는다는 촘촘한 하한을 확립한다.
• KWIK-공정성 연결을 보여 KWIK 학습과 공정 맥락 밴딧 간의 환원을 가능하게 한다.
• 선형 맥락 밴딧에서 차원에 다항식 의존하는 공정 학습을 보이고, 다른 함수 클래스에서 지수적 간격을 보인다.

실험 결과

연구 질문

• RQ1 순차적 맥락 밴딧에서 공정성 제약을 어떻게 형식화할 수 있는가?
• RQ2 전통적 확률적(클래식) 밴딧에서 공정성을 강제하는 학습 비용(후퇴) 은 무엇인가?
• RQ3 맥락 밴딧 설정에서 공정성과 KWIK 학습은 어떻게 연결되는가?
• RQ4 선형인 경우 공정 맥락 밴딧을 효율적으로 학습할 수 있는가, 차원 의존성은 무엇인가?
• RQ5 공정성이 비공정 학습에 비해 지수적 페널티를 주는 문제 인스턴스가 존재하는가?

주요 결과

• FairBandits는 delta-공정하며, 낮은 평균 팔이 높은 평균 팔보다 선호되지 않도록 충분한 확률로 신뢰구간을 유지한다.
• 전통적(비맥-context) 밴딧 설정에서 FairBandits는 T에 대해 O(k^3) 수준의 후회를 달성하며, 이 k 의존성은 상수로 소수점 차이 외에 타이트하다.
• 공정 학습과 비공정 학습 사이에 근본적 분리가 존재하며, 어떤 인스턴스에서는 공정 알고리즘이 균일 탐색에서 벗어나려면 Omega(k^3) 시간이 필요하다.
• KWIK 학습 프레임워크는 맥락 설정에서 최적의 공정 학습 속도를 KWIK 경계와 후회의 환원을 통해 엄밀히 특징짓는다.
• 선형 맥락 밴딧의 경우 차원 d에 다항식 의존성을 갖는 입증 가능한 공정 알고리즘을 제시한다.
• 예: 불린 합성(boolean conjunctions) 같은 함수 클래스에서 공정 학습은 차원 d에 대해 지수 하한을 가지고, 공정성의 최악의 페널티를 시사한다.