[논문 리뷰] Online Learning Demands in Max-min Fairness

Kirthevasan Kandasamy, Gur-Eyal Sela외 3명|arXiv (Cornell University)|2020. 12. 15.

Advanced Bandit Algorithms Research참고 문헌 62인용 수 4

한 줄 요약

이 논문은 사용자가 자신의 실제 자원 수요를 모를 때 동적 환경에서 최대-최소 공정 자원 배분을 위한 온라인 학습 기반 메커니즘을 제안한다. 과거 라운드의 피드백을 활용함으로써 메커니즘은 사용자 수요를 학습하면서도 효율성, 공정성, 전략 수반성을 확보하며, 스토하스틱 및 비모수적 피드백 모델 하에서 하위선형의 회귀와 점점 더 공정해지는 성능을 달성한다.

ABSTRACT

We describe mechanisms for the allocation of a scarce resource among multiple users in a way that is efficient, fair, and strategy-proof, but when users do not know their resource requirements. The mechanism is repeated for multiple rounds and a user's requirements can change on each round. At the end of each round, users provide feedback about the allocation they received, enabling the mechanism to learn user preferences over time. Such situations are common in the shared usage of a compute cluster among many users in an organisation, where all teams may not precisely know the amount of resources needed to execute their jobs. By understating their requirements, users will receive less than they need and consequently not achieve their goals. By overstating them, they may siphon away precious resources that could be useful to others in the organisation. We formalise this task of online learning in fair division via notions of efficiency, fairness, and strategy-proofness applicable to this setting, and study this problem under three types of feedback: when the users' observations are deterministic, when they are stochastic and follow a parametric model, and when they are stochastic and nonparametric. We derive mechanisms inspired by the classical max-min fairness procedure that achieve these requisites, and quantify the extent to which they are achieved via asymptotic rates. We corroborate these insights with an experimental evaluation on synthetic problems and a web-serving task.

연구 동기 및 목표

• 공유 컴퓨팅 환경에서 사용자가 자원 수요를 정확히 특정할 수 없는 상황에서 공정한 자원 배분 문제를 해결하기 위해.
• 피드백을 통해 시간이 지남에 따라 사용자 수요를 학습하면서도 효율성, 공정성, 전략 수반성을 유지하는 메커니즘을 설계하기 위해.
• 정규화된 피드백 모델 세 종류인 결정론적, 비모수적 스토하스틱, 모수적 스토하스틱 모델 하에서 온라인 학습을 공정 분배의 관점에서 수식화하기 위해.
• 기존의 최대-최소 공정성 개념을 초기 수요가 알려지지 않은 동적이고 학습 기반의 환경으로 확장하기 위해.
• 제안된 메커니즘의 성능을 점점 줄어드는 회귀와 공정성 경계를 통해 정량화하기 위해.

제안 방법

• 할당 공간의 계층적 분할을 통해 사용자 수요를 추정하고, 각 라운드 후 피드백을 수집하여 추정치를 개선한다.
• 학습된 수요 추정치에 기반해 동적으로 할당을 조정하는 최대-최소 공정성의 변형을 적용하여, 어떤 에이전트도 자신의 공정한 할당량보다 더 나쁜 상황이 되지 않도록 보장한다.
• 유용도 함수의 리프시츠 연속성 가정을 적용하고, 다양한 피드백 유형에 걸쳐 추정 오차를 제한하기 위해 농도 불등식을 사용한다.
• 스토하스틱 피드백의 경우, 신뢰 구간과 탐색-이용 균형을 활용하여 회귀를 최소화하며, 마팅게일 농도 불등식과 커버링 추론을 통해 유도된 경계를 사용한다.
• 회귀를 과소할당, 오분류, 추정 오차의 구성요소로 분해하고, 각 항목을 재귀 부등식과 尾 확률 경계를 통해 제한한다.
• 이론적 분석을 통해 $ T $ 라운드 동안 점점 줄어드는 회귀 경계 $ O(T^{1/2}/G^{1/2}) $ 를 도출하며, 여기서 $ G $ 는 할당 격자 해상도를 제어한다.

실험 결과

연구 질문

• RQ1 사용자가 자신의 실제 자원 수요를 모를 때 공정하고 효율적인 자원 배분 메커니즘을 설계할 수 있는가?
• RQ2 과거 할당의 피드백을 어떻게 활용하여 사용자 수요를 학습하면서도 공정성과 전략 수반성을 유지할 수 있는가?
• RQ3 이러한 학습 기반 공정 배분 메커니즘의 점점 줄어드는 성능 경계(회귀 및 공정성)는 무엇인가?
• RQ4 결정론적, 모수적 스토하스틱, 비모수적 스토하스틱 피드백 모델의 차이는 메커니즘의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 사용자가 수요를 잘못 보고함으로써 시스템을 조작하려 할 때조차도 메커니즘이 공정성을 유지할 수 있는가?

주요 결과

• 제안된 메커니즘은 라운드 수 $ T $ 에 대해 하위선형의 회귀를 달성하며, 점점 줄어드는 회귀 경계 $ O(T^{1/2}/G^{1/2}) $ 를 확보한다. 여기서 $ G $ 는 할당 격자의 해상도를 제어한다.
• 제안된 메커니즘은 점점 더 공정해지며, 주어진 피드백 모델 하에서 $ T $ 가 증가함에 따라 최적의 유용도와 실제 유용도의 차이가 0으로 수렴한다.
• 모수적 및 비모수적 스토하스틱 피드백의 경우, 메커니즘은 신뢰 구간과 계층적 분할을 활용한 탐색-이용 균형을 통해 공정성과 효율성을 달성한다.
• 이론적 분석 결과, 잘못된 할당으로 인한 손실은 $ O(L^2/G) $ 로 제한되며, 여기서 $ L $ 은 유용도의 리프시츠 상수이고 $ G $ 는 해상도 파라미터이다.
• 합성 및 웹 서빙 작업에 대한 실험 평가를 통해 메커니즘이 다양한 피드백 조건 하에서도 강인하고 공정한 할당으로 수렴하는 것으로 확인되었다.
• 메커니즘은 진실된 로드 보고(수요가 아닌)가 회귀를 최소화하고 유용도를 최대화함으로써 전략 수반성을 유지한다. 이는 조작을 방지한다.