[논문 리뷰] Fair Algorithms for Multi-Agent Multi-Armed Bandits

Safwan Hossain, Evi Micha외 1명|arXiv (Cornell University)|2020. 07. 13.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 16

한 줄 요약

이 논문은 각 에이전트가 보상의 확률적 분포를 다르게 부여하는 다중 에이전트 다손대기 프레임워크를 소개하며, 공정성 기준으로 나시 사회후생(Nash social welfare, NSW)을 최대화하는 공정한 학습 알고리즘을 제안한다. Explore-First, 이psilon-그리디, UCB의 다중 에이전트 변형을 설계하여, 상실된 NSW 기준으로 하위선형 잔여손실(regret)을 달성함으로써, 다양한 선호를 가진 에이전트들 간의 장기적 보상 분배를 공정하게 보장한다.

ABSTRACT

We propose a multi-agent variant of the classical multi-armed bandit problem, in which there are $N$ agents and $K$ arms, and pulling an arm generates a (possibly different) stochastic reward for each agent. Unlike the classical multi-armed bandit problem, the goal is not to learn the "best arm"; indeed, each agent may perceive a different arm to be the best for her personally. Instead, we seek to learn a fair distribution over the arms. Drawing on a long line of research in economics and computer science, we use the Nash social welfare as our notion of fairness. We design multi-agent variants of three classic multi-armed bandit algorithms and show that they achieve sublinear regret, which is now measured in terms of the lost Nash social welfare.

연구 동기 및 목표

• 에이전트들이 보상에 대해 상충되는 선호를 가진 다중 에이전트 의사결정에서의 공정성 문제를 해결하기 위해.
• 기업의 의사결정이나 컨fer런스 심사 시스템과 같이 다수의 이해관계자가 영향을 받는 환경에서의 집단 정책 선택을 모델링하기 위해.
• 이윤 중심 또는 평등 중심의 공정성 기준을 대체하여 균형 잡힌 공정성 기준으로 나시 사회후생을 사용하기 위해.
• 알 수 없는 보상 분포가 존재하는 상황에서도 NSW를 최대화하는 보상 분포로 수렴하는 학습 알고리즘을 설계하기 위해.
• 시간 영역 T에 대해 상실된 나시 사회후생 기준으로 잔여손실의 경계를 설정하여, 성능 성장률이 하위선형이 되도록 보장하기 위해.

제안 방법

• 고전적 다손대기 알고리즘—Explore-First, 이psilon-그리디, UCB—을 에이전트별 보상이 존재하는 다중 에이전트 환경에 적응시킴.
• 잔여손실을 보상에 대한 최적 분포 대비 나시 사회후생의 누적 손실로 정의함.
• 에이전트별 보상의 경험적 평균 추정치를 사용하여 보상 선택을 유도하며, 수렴을 보장하기 위해 탐색 균형을 유지함.
• UCB의 경우, 추정된 NSW와 탐색 보너스를 조합한 상한 신뢰구간을 도입하여 이용과 탐색의 균형을 맞춤.
• UCB 변형에서 NSW의 로그 변환을 사용하여 효율적인 최적화를 가능하게 하였지만, 잔여손실 경계는 원래 NSW 함수 기준으로 유도함.
• 제안된 알고리즘이 시간 T에 대해 하위선형 잔여손실을 달성함을 증명함. 이는 에이전트별 보상 이질성 조건 하에서도 성립함.

실험 결과

연구 질문

• RQ1 에이전트들이 보상에 대해 상충되는 선호를 가진 다중 에이전트 다손대기 환경에서, 공정성을 확보하는 학습 알고리즘을 설계할 수 있는가?
• RQ2 나시 사회후생을 최대화하는 것이 다수의 선호를 압도하는 다수의 폭력적 지배를 피하면서 소수의 선호를 존중하는 공정한 보상 분배를 보장하는가?
• RQ3 잔여손실이 상실된 나시 사회후생 기준으로 측정될 때, 고전적 다손대기 알고리즘을 하위선형 잔여손실 유지가 가능한 방식으로 적응시킬 수 있는가?
• RQ4 제안된 알고리즘의 잔여손실이 에이전트 수와 보상 수에 대해 부드럽게 스케일링되는 방식으로 경계가 설정되는가?
• RQ5 이 다중 에이전트 공정성 설정에서의 잔여손실 이론적 한계는 무엇이며, 더 날카로운 하한 경계를 유도할 수 있는가?

주요 결과

• 제안된 Explore-First, 이psilon-그리디, UCB의 다중 에이전트 변형 모두 시간 영역 T에 대해 하위선형 잔여손실을 달성함. 이는 상실된 나시 사회후생 기준으로 측정됨.
• Explore-First 및 이psilon-그리디 변형의 잔여손실 경계는 O(√(KT log T))이며, 고전적 MAB 설정에서 알려진 경계와 일치함.
• UCB 변형의 경우도 잔여손실 경계가 O(√(KT log T))로 경계됨. 다만 일반적인 N에 대해 최적화 단계의 계산 복잡도는 미해결 상태임.
• 다중 에이전트 설정에서 임의의 알고리즘에 대해 Ω(√(KT))의 하한 경계가 확립되어, 상한 경계가 거의 날카로운 것을 보여줌.
• 나시 사회후생의 사용은 비례적 공정한 결과를 보장하며, 예를 들어 소수-다수 선호 상황에서 보상에 대해 각각 40%와 60%의 확률을 할당함.
• 이 논문은 이 설정에서 UCB에 대해 인스턴스 의존적 로그형 잔여손실 경계를 유도하는 것이 아직 열려 있는 문제로 지적함.