[논문 리뷰] Fair Algorithms for Infinite and Contextual Bandits

Matthew Joseph, Michael Kearns외 3명|arXiv (Cornell University)|2016. 10. 29.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

이 논문은 무한 및 컨텍스트 선형 밴디트에서 정당한 공정성에 대한 새로운 프레임워크를 제안하며, 군집 소속 정보 없이도 공정한 선택을 가능하게 한다. 신뢰구간을 사용하여 덜 자격이 높은 개인이 우선시되지 않도록 보장함으로써, 저자들은 로그 인자에 대해 엄밀한 상한을 갖는 인스턴스에 의존하는 리그레트 상한을 달성한다. 이는 이전 연구에 비해 일반성과 공정성 제약 하에서의 성능 보장 면에서 크게 향상시킨다.

ABSTRACT

We study fairness in linear bandit problems. Starting from the notion of meritocratic fairness introduced in Joseph et al. [2016], we carry out a more refined analysis of a more general problem, achieving better performance guarantees with fewer modelling assumptions on the number and structure of available choices as well as the number selected. We also analyze the previously-unstudied question of fairness in infinite linear bandit problems, obtaining instance-dependent regret upper bounds as well as lower bounds demonstrating that this instance-dependence is necessary. The result is a framework for meritocratic fairness in an online linear setting that is substantially more powerful, general, and realistic than the current state of the art.

연구 동기 및 목표

• 불확실성 하에서 온라인 의사결정의 공정성 문제를 다루며, 특히 표준의 no-regret 알고리즘이 더 자격이 높은 개인을 체계적으로 불리하게 다룰 수 있는 설정에서의 공정성 문제를 해결하고자 한다.
• 이전 연구에서의 제한적인 가정(고정된 군집 구조, 라운드당 단일 선택 등)을 완화하기 위해, 군집에 의존하지 않는 공정성 정의를 도입하고자 한다.
• 유한 및 무한 선형 밴디트 설정 모두에 대해 공정한 알고리즘을 개발하며, 다중 선택 및 무한 선택 시나리오를 포함한다.
• 인스턴스에 의존하는 리그레트 상한을 수립하고, 하한을 통해 그 필요성을 입증한다.
• 공정성 제약이 무한 밴디트 문제에서 리그레트의 지형을 본질적으로 변화시킨다는 점을 보여주며, 인스턴스에 의존하는 분석이 필요하다는 것을 밝힌다.

제안 방법

• 정당한 공정성 기준을 정의: 알고리즘이 더 자격이 높은 개인보다 덜 자격이 높은 개인에게 더 높은 선택 확률을 부여해서는 안 된다.
• 추정된 보상 주변의 신뢰구간을 사용하여 선택 자격을 결정함으로써, 더 높은 보상을 제공하는 선택지가 진정으로 더 낫다는 것을 보장함으로써 공정성을 확보한다.
• 최적 해가 가용 영역의 극단점에 위치한다는 사실을 활용하여, 무한 선형 밴디트에 대해 기존의 신뢰구간 기반 프레임워크를 적응시켰다.
• 리그레트 상한이 Δ_gap에 따라 달라지며, 이는 선택 집합 내 최고 및 두 번째로 좋은 극단점 간의 거리로, 인스턴스 특화된 난이도를 캡처한다.
• 하한을 통해 무한 설정에서 공정 알고리즘에 대해 인스턴스 의존성이 필수적임을 입증하고, 상한의 날카로운 수준을 보여준다.
• 가용 영역에 대한 귀납법과 위상적 추론을 사용하여, 공정성 제약이 강하게 작용할 경우 공정 알고리즘이 특정 부분집합에서 균일하게 선택해야 한다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 군집 소속 정보나 고정된 군집 구조를 가정하지 않고도 선형 밴디트에서 공정성을 확보할 수 있는가?
• RQ2 무한 선형 밴디트 문제에서 공정 알고리즘의 리그레트에 대한 근본적인 한계는 무엇인가?
• RQ3 선택 집합의 구조, 특히 최적 및 비최적 극단점 간의 거리가 공정 학습 성능에 어떻게 영향을 미치는가?
• RQ4 무한 밴디트 문제에서 공정 알고리즘에 대해 인스턴스에 의존하는 리그레트가 필수적인가, 아니면 균일한 상한을 달성할 수 있는가?
• RQ5 다중 선택 및 무한 선택 설정에서도 강력한 리그레트 보장을 유지하면서 공정 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 공정 알고리즘은 무한 선형 밴디트 문제에서 선택 집합 내 최고 및 두 번째로 좋은 극단점 간의 간격 Δ_gap에 따라 스케일링되는 인스턴스에 의존하는 리그레트 상한을 달성한다.
• 하한을 통해 어떤 공정 알고리즘도 Δ_gap에 다항적으로 의존하는 리그레트를 겪어야 한다는 것을 입증함으로써, 인스턴스 의존성이 필수적임을 보이고, 상한이 거의 날카로운 수준임을 증명한다.
• 이 프레임워크는 군집 소속 정보가 필요 없어, 임의의 비정형 인구 집단에 적용 가능하다.
• 실험 결과, 표준 UCB 스타일 알고리즘은 10,000라운드 동안 거의 400건의 오용을 일으키는 반면, 제안된 FairUCB는 최소한의 리그레트로 공정성을 유지함을 보였다.
• 상관된 특징이 있는 설정에서는 UCB가 보다 높은 불확실성으로 인해 보다 많은 오용을 일으키며, majority 그룹에 대해 불리하게 작용함을 보여주며, 놀라운 공정성 실패를 드러낸다.
• 선택 집합에 대한 구조적 가정이 없을 경우, 비트리비얼한 리그레트 보장을 갖는 공정 알고리즘이 존재할 수 없다는 것을 증명함으로써, 본 연구의 가정이 정당화됨을 보였다.