[논문 리뷰] Efficient Resource Allocation with Fairness Constraints in Restless Multi-Armed Bandits

De-Xun Li, Pradeep Varakantham|arXiv (Cornell University)|2022. 06. 08.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 공공보건 및 자원 제한 환경에서 무기한 간섭 배정을 방지하기 위해 공정성 제약 조건을 적용한 불안정한 다수의 손잡이 기반 밴딧(RMAB)에 대한 접근법을 제안한다. 특히, 최대 마지막 활성화 이후 경과한 시간을 기반으로 한 새로운 공정성 제약 조건을 도입하고, 공정성 조건을 만족시키면서도 확장성과 최적성을 확보하기 위해 윌틀 기반 알고리즘을 수정하며, 모델 기반 및 모델리스 학습 방법을 평가하여 공정성 제약 조건을 도입하더라도 기대 보상 성능에 큰 손실가 없이도 공정성을 확보할 수 있음을 입증한다.

ABSTRACT

Restless Multi-Armed Bandits (RMAB) is an apt model to represent decision-making problems in public health interventions (e.g., tuberculosis, maternal, and child care), anti-poaching planning, sensor monitoring, personalized recommendations and many more. Existing research in RMAB has contributed mechanisms and theoretical results to a wide variety of settings, where the focus is on maximizing expected value. In this paper, we are interested in ensuring that RMAB decision making is also fair to different arms while maximizing expected value. In the context of public health settings, this would ensure that different people and/or communities are fairly represented while making public health intervention decisions. To achieve this goal, we formally define the fairness constraints in RMAB and provide planning and learning methods to solve RMAB in a fair manner. We demonstrate key theoretical properties of fair RMAB and experimentally demonstrate that our proposed methods handle fairness constraints without sacrificing significantly on solution quality.

연구 동기 및 목표

• 보상 최적화 정책에 의해 지속적으로 간과당하는 특정 암호(예: 열악한 환경에 있는 공동체)가 간섭을 받지 못하는 문제를 해결하기 위해.
• 모든 암호 또는 암호 유형이 마지막 활성화 이후 고정된 시간 창 안에 최소 한 번 이상 활성화되도록 보장하는 RMAB 내 공정성 제약 조건을 정식화하기 위해.
• 유한 및 무한 수명 주기 RMAB 문제 모두에서 공정성 제약 조건을 만족시키는 확장성 있고 최적의 윌틀 인덱스 기반 알고리즘을 개발하기 위해.
• 전이 확률가 알려지지 않은 상황에서 적용 가능한 모델리스 강화학습 방법(스미스 샘플링 및 Q-학습)을 제안하여 공정한 RMAB를 위한 정책을 학습하기 위해.
• 공정성 제약 조건이 기대 보상 성능에 상당한 영향을 주지 않도록 실험적으로 검증하기 위해.

제안 방법

• 최대 시간 간격 $ L $에 기반한 공정성 제약 조건을 제안하여, $ L-1 $ 단계 동안 활성화되지 않은 암호는 시간 $ L $에 반드시 선택되도록 하여 최소 활성화 빈도를 보장한다.
• 마지재 활성화 이후 경과한 시간을 고려한 페널티 항을 인덱스 계산에 통합함으로써 윌틀 인덱스 알고리즘을 공정성 제약 조건에 적합하도록 수정한다.
• 신뢰도 상태 MDP를 사용하여 공정성 제약 조건 하에서 최적의 동작 선택 조건을 유도하며, 이때 신뢰도 상태는 수동 전이와 행동 결과에 따라 갱신된다.
• 전이 확률가 알려지지 않은 상황에서 윌틀 인덱스를 추정하기 위해 스미스 샘플링과 Q-학습을 활용한 모델리스 학습 접근법을 도입하여 실제 적용 가능성을 높인다.
• 부분 관측 가능한 MDP 프레임워크를 사용하여 과거 행동과 관측 결과에 기반해 신뢰도 상태를 갱신하며, 공정성 유발 활성화는 신뢰도 체인의 머리 부분으로의 전이로 모델링한다.
• 리우와 조우(2010)의 연구에 기반한 가치 함수 근사 기법을 활용하여 공정성 제약 조건 하에서의 기대 향후 보상 계산을 수행한다.

실험 결과

연구 질문

• RQ1 RMAB에서 장기적인 간섭 소외를 방지하기 위해 공정성 제약 조건을 공식적으로 정의할 수 있는가?
• RQ2 공정성 제약 조건을 유지하면서도 최적성과 확장성을 확보하기 위해 윌틀 인덱스 알고리즘을 어떻게 수정할 수 있는가?
• RQ3 공정성 제약 조건을 적용할 경우 RMAB 환경에서 기대 보상 성능이 얼마나 떨어지는가?
• RQ4 전이 동역학이 알려지지 않은 상황에서 모델리스 강화학습 방법이 공정한 정책을 효과적으로 학습할 수 있는가?
• RQ5 다양한 수준의 공정성 제약 강도(예: $ L $ 및 $ \eta $의 변화)가 공정성과 효율성 간의 트레이드오프에 어떻게 영향을 주는가?

주요 결과

• 제안된 공정성 제약 조건은 어느 암호도 간섭에서 소외되지 않도록 보장하며, 표준 윌틀 인덱스 기반 정책에서는 최대 50%의 암호가 활성화되지 않았으나, 공정성 정책에서는 일관된 활성화가 이루어졌다.
• 수정된 윌틀 인덱스 알고리즘은 모든 테스트된 공정성 제약 수준에서 최적의 비공정 기준에 근접한 평균 보상을 유지하며 높은 해법 품질을 확보했다.
• 강한 공정성 제약 조건($ L $가 $ kL/N = 1.3 $ 인 경우)에서도 최적 보상의 85% 이상을 달성하여 성능 저하가 최소화됨을 입증했다.
• 모델리스 학습 방법(스미스 샘플링 및 Q-학습)은 윌틀 인덱스를 효과적으로 근사하고 공정성을 확보했으며, 모델 기반 방법과 비교해 유사한 성능을 보였다.
• 모든 간섭 수준($ k/N = 5\%, 10\%, 20\%, 30\% $)에서 엄격한 공정성 제약 조건 하에서도 랜덤 및 단기적 기준보다 일관되게 뛰어난 성능을 보였다.
• 공정성 제약 강도는 $ L $ 및 $ \eta $로 제어되며, 이는 공정성과 효율성 간의 조절 가능한 트레이드오프를 가능하게 하며, 저강도 제약($ kL/N = 3 $)에서는 성능 저하가 최소화되었다.