[논문 리뷰] Multi-objective Bandits: Optimizing the Generalized Gini Index

Róbert Busa‐Fekete, Balázs Szörényi외 2명|arXiv (Cornell University)|2017. 06. 15.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 13

한 줄 요약

이 논문은 다목적 다익음 밴딧(MOMAB) 문제를 위한 새로운 온라인 학습 알고리즘을 제안하며, 경쟁하는 목표를 공정하게 균형 잡는 데 Generalized Gini Index(GGI)를 최적화한다. 제어된 탐색을 통한 온라인 경사 하강법을 사용하여, 높은 확률로 분포에 종속되지 않는 리그레트 $ ilde{O}(T^{-1/2})$ 를 달성하며, 시뮬레이션 및 배터리 제어 작업에서 강력한 이론적이고 실험적인 성능을 보여준다.

ABSTRACT

We study the multi-armed bandit (MAB) problem where the agent receives a vectorial feedback that encodes many possibly competing objectives to be optimized. The goal of the agent is to find a policy, which can optimize these objectives simultaneously in a fair way. This multi-objective online optimization problem is formalized by using the Generalized Gini Index (GGI) aggregation function. We propose an online gradient descent algorithm which exploits the convexity of the GGI aggregation function, and controls the exploration in a careful way achieving a distribution-free regret $ ilde{\bigO} (T^{-1/2} )$ with high probability. We test our algorithm on synthetic data as well as on an electric battery control problem where the goal is to trade off the use of the different cells of a battery in order to balance their respective degradation rates.

연구 동기 및 목표

• 불확실성 하에서 다수의 경쟁하는 목표를 균형 잡는 데 있어 온라인 의사결정 문제에 도전하는 것.
• 경제학에서 사용되는 볼록 집합 함수인 Generalized Gini Index(GGI)를 활용해 다목적 밴딧에서의 공정성 정의하기.
• 소음이 있는 벡터형 피드백을 다루는 밴딧 환경에서 낮은 리그레트를 달성하면서도 안정적인 온라인 학습 알고리즘 설계하기.
• 관측된 비용 함수의 편향에 대해 계산적으로 효율적이고 강건한 알고리즘 보장하기.
• 실제 전기 배터리 제어 문제를 포함한 시뮬레이션 데이터와 실제 응용에서 접근법 검증하기.

제안 방법

• D차원 비용 벡터를 갖는 MOMAB 문제를 정의하고, 공정성 인식 집합 함수로 GGI를 사용하기.
• GGI 목표를 최적화하기 위해 온라인 경사 하강법(OGD) 적용하며, 안정적인 갱신을 위해 볼록성 활용하기.
• 확률적 비용 관측으로 인한 편향을 완화하고 정확한 GGI 추정을 보장하기 위해 제어된 탐색 전략 도입하기.
• 분포에 종속되지 않는 리그레트 분석을 통해 알고리즘이 높은 확률로 $\tilde{O}(T^{-1/2})$ 리그레트 달성함을 증명하기.
• 전체 정보 가정을 피하고 밴딧 피드백 환경에서 작동하는 계산적으로 효율적인 알고리즘 설계하기.
• 탐색과 이용을 균형 잡고 다목적 비용의 누적 최소화를 달성하는 프레임워크에 방법 통합하기.

실험 결과

연구 질문

• RQ1 Generalized Gini Index는 다목적 밴딧 문제에서 공정성을 최적화하는 데 효과적으로 사용될 수 있는가?
• RQ2 온라인 경사 하강법은 밴딧 환경에서 소음이 있는 다차원 피드백을 어떻게 다룰 수 있는가?
• RQ3 확률적 피드백 하에서 GGI 최적화 밴딧 알고리즘의 이론적 리그레트 한계는 무엇인가?
• RQ4 제안된 알고리즘은 다목적 의사결정에서 공정성을 유지하면서 근사 최적 리그레트를 달성할 수 있는가?
• RQ5 충돌하는 목표가 있는 실제 응용, 예를 들어 배터리 세포의 열화 균형 조절과 같은 과제에서 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 높은 확률로 분포에 종속되지 않는 리그레트 $ ilde{O}(T^{-1/2})$ 를 달성하며, 확률적 밴딧의 하한값에 거의 도달한다.
• 알고리즘은 경제학에서 잘 알려진 공정성 측정 지표인 Generalized Gini Index를 최적화함으로써 다수의 목표를 효과적으로 균형 잡는다.
• 시뮬레이션 데이터에서의 실험을 통해 다양한 목표 간 트레이드오프 상황에서 알고리즘의 수렴성과 공정성 특성을 확인하였다.
• 전기 배터리 제어 과제에서, 알고리즘은 배터리 세포 간 열화 속도를 성공적으로 균형 잡아 수명 연장과 공정성 향상을 이룬다.
• 알고리즘이 기준 대비 공정성 및 누적 비용 최소화 측면에서 뛰어난 성능을 보이며, 노이즈와 편향에 대해 강건함을 입증하였다.
• 알고리즘의 계산적 효율성 덕분에 다차원 피드백 환경에서 실시간 제어 시스템에 실용적으로 구현 가능하다.