[논문 리뷰] Group-Fair Online Allocation in Continuous Time

Semih Çaycı, Swati Gupta외 1명|arXiv (Cornell University)|2020. 06. 11.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 11

한 줄 요약

이 논문은 시간 예산 제약 조건 하에서 랜덤한 작업 완료 시간과 디드라인을 가진 그룹 간 공정한 자원 배분을 위한 연속시간 온라인 학습 프레임워크를 제안한다. 이중 상승 최적화를 통해 시간 예산 하에서 $\tilde{O}(B^{-1/2})$의 리그레트 한계를 달성한다. 이는 보상 극대화, 최소 최대 공정성, 비례 공정성 할당을 통합된 유틸리티 극대화 공식의 특수 케이스로 일반화한다.

ABSTRACT

The theory of discrete-time online learning has been successfully applied in many problems that involve sequential decision-making under uncertainty. However, in many applications including contractual hiring in online freelancing platforms and server allocation in cloud computing systems, the outcome of each action is observed only after a random and action-dependent time. Furthermore, as a consequence of certain ethical and economic concerns, the controller may impose deadlines on the completion of each task, and require fairness across different groups in the allocation of total time budget $B$. In order to address these applications, we consider continuous-time online learning problem with fairness considerations, and present a novel framework based on continuous-time utility maximization. We show that this formulation recovers reward-maximizing, max-min fair and proportionally fair allocation rules across different groups as special cases. We characterize the optimal offline policy, which allocates the total time between different actions in an optimally fair way (as defined by the utility function), and impose deadlines to maximize time-efficiency. In the absence of any statistical knowledge, we propose a novel online learning algorithm based on dual ascent optimization for time averages, and prove that it achieves $ ilde{O}(B^{-1/2})$ regret bound.

연구 동기 및 목표

• 랜덤한 작업 완료 시간과 딱딱한 마감일이 존재하는 환경에서 온라인 순차적 의사결정의 공정성 문제를 다루며, 특히 온라인 채용 및 클라우드 컴퓨팅과 같은 맥락을 대상으로 한다.
• 이질적인 작업 완료 분포 간 보상 극대화와 그룹 공정성을 균형 잡는 연속시간 유틸리티 극대화 프레임워크를 제안한다.
• 보상 또는 완료 시간 분포에 대한 사전 통계 지식이 없는 온라인 학습 알고리즘을 설계한다.
• 모든 시간 예산 $B$가 낭비되지 않도록 할당 정책에 마감일을 통합하여 시간 효율성을 확보한다.
• 총 보상과 그룹 간 공정성 사이의 증명 가능한 트레이드오프를 달성하며, 리그레트와 제약 위반에 대한 이론적 보장을 제공한다.

제안 방법

• 작업 완료 시간이 랜덤하고 마감일 이내에 완료되어야만 보상이 발생하는 시간 예산 $B$가 있는 연속시간 유틸리티 극대화 문제로 문제를 공식화한다.
• 보상 극대화, 최소 최대 공정성, 비례 공정성 할당을 특수 케이스로 포함하는 일반 유틸리티 함수를 정의한다.
• 라그랑주 이중성에 기반해 유틸리티와 시간 제약 조건을 균형 잡는 최적의 오프라인 정책을 유도하며, 이중 변수는 공정성 가중치를 나타낸다.
• 관측된 완료 시간과 보상 정보를 바탕으로 이중 변수를 갱신하는 연속시간 평균 성능을 위한 새로운 온라인 학습 알고리즘을 제안한다.
• 리아포노프 드리프트 분석을 사용해 리그레트와 제약 위반을 상한선으로 제시하며, 최적 유틸리티에 $\tilde{O}(B^{-1/2})$ 리그레트 내에서 수렴함을 증명한다.
• 어떤 인과 정책에 대해서도 결정 단계 수 $N^\pi(B)$에 대한 고확률 상한선을 확립하여, $B$에 대해 $\Theta(B)$임을 보이며 시간 예산이 초과되지 않음을 확인한다.

실험 결과

연구 질문

• RQ1 랜덤한 작업 완료 시간과 마감일이 존재하는 연속시간 온라인 할당에 그룹 공정성을 공식적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 시간 예산과 공정성 제약 조건 하에서 유틸리티를 극대화하는 최적의 오프라인 정책은 무엇인가?
• RQ3 보상 또는 완료 시간 분포에 대한 사전 지식이 없는 온라인 알고리즘이 하위선형 리그레트를 달성할 수 있는가?
• RQ4 고정된 시간 예산 하에서 마감일 도입이 자원 할당의 시간 효율성을 어떻게 향상시키는가?
• RQ5 총 보상과 공정성 사이의 트레이드오프는 무엇이며, 리그레트와 제약 위반 측면에서 어떻게 정량적으로 상한선을 제시할 수 있는가?

주요 결과

• 제안된 프레임워크는 보상 극대화, 최소 최대 공정성, 비례 공정성 할당을 통합된 연속시간 유틸리티 극대화 공식의 특수 케이스로 회복한다.
• 최적의 오프라인 정책은 유틸리티와 공정성을 균형 잡는 방식으로 행동 간 시간을 할당하며, 마감일을 활용해 시간 효율성을 극대화한다.
• 온라인 알고리즘은 시간 예산 $B$에 대해 하위선형인 $\tilde{O}(B^{-1/2})$ 리그레트 한계를 달성하며, 통계적 가정 없이도 성립한다.
• 공정성 제약 위반은 $O(1/\sqrt{B \log B})$의 속도로 만족되며, 이는 공정성이 점차적으로 유지됨을 보장한다.
• 결정 단계 수 $N^\pi(B)$는 고확률로 $\Theta(B)$이며, 이는 시간 예산이 효율적으로 활용됨을 확인한다.
• 특히 $V = \Theta(\sqrt{N / \log N})$로 선택할 경우, 알고리즘은 유틸리티 측면에서 최적에 $O(\sqrt{\log N / N})$ 이내의 갭을 달성하며, 이때 $N = \Theta(B)$이다.