[논문 리뷰] Robust Multi-Agent Multi-Armed Bandits

Daniel Vial, Sanjay Shakkottai외 1명|arXiv (Cornell University)|2020. 07. 07.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 4

한 줄 요약

이 논문은 악성 에이전트가 열열한 열을 추천할 경우 이를 차단하여 정직한 에이전트가 악성 간섭에도 불구하고 낮은 위험을 유지할 수 있도록 보장하는 강건한 다중 에이전트 다중 손잡이 밴딧 알고리즘을 제안한다. $ m $개의 악성 에이전트가 존재할 경우 위험은 $ O((m + K/n)\log T / \Delta) $로 유계임을 증명하였으며, $ m \ll K $일 경우 기준선 대비 크게 향상된다. 악성 행동에 대한 가정 없이도 성립한다.

ABSTRACT

Recent works have shown that agents facing independent instances of a stochastic $K$-armed bandit can collaborate to decrease regret. However, these works assume that each agent always recommends their individual best-arm estimates to other agents, which is unrealistic in envisioned applications (machine faults in distributed computing or spam in social recommendation systems). Hence, we generalize the setting to include $n$ honest and $m$ malicious agents who recommend best-arm estimates and arbitrary arms, respectively. We first show that even with a single malicious agent, existing collaboration-based algorithms fail to improve regret guarantees over a single-agent baseline. We propose a scheme where honest agents learn who is malicious and dynamically reduce communication with (i.e., "block") them. We show that collaboration indeed decreases regret for this algorithm, assuming $m$ is small compared to $K$ but without assumptions on malicious agents' behavior, thus ensuring that our algorithm is robust against any malicious recommendation strategy.

연구 동기 및 목표

• 악성 에이전트가 임의의 열을 추천할 경우 기존의 협업형 다중 에이전트 밴딧 알고리즘이 취약해지는 문제를 해결하기 위해.
• 악성 행동이 유계이거나 협력적이라는 가정 없이도 악성 에이전트 존재하에서도 낮은 위험을 유지할 수 있는 강건한 알고리즘을 설계하기 위해.
• 단 하나의 악성 에이전트가 존재할 경우에도 기존 알고리즘(예: Chawla 등, 2020b)이 실패하는 것을 정량화하기 위해.
• 악성 에이전트 수 $ m $과 열 수 $ K $에 따라 잘 스케일링되는 이론적 위험 한계를 설정하기 위해.

제안 방법

• 후행 성능이 열 劣한 에이전트의 추천을 받은 경우 그 에이전트를 차단(무시)하는 차단 메커니즘을 도입한다.
• 지수 증가하는 차단 기간을 사용한다: 시간 $ t $에 추천한 경우 $ t^2 $까지, 그 후 $ t^4 $, $ t^8 $ 등으로 계속 차단한다.
• 정직한 에이전트가 성능이 열 劣한 추천을 한 에이전트를 피하도록 동적 신뢰 메커니즘을 구현한다.
• 위험 분해와 농도 경계(레마 5를 통해)를 사용하여, 차단 조건 하에서 열 劣한 열의 선택 수를 분석한다.
• 시간 간격의 증가 수열 $ A_{j_*} = \lceil j_*^\beta \rceil $을 사용하여 渐近적 행동과 오차 확률 수렴성을 분석한다.
• 합집합 경계와 尾확률 부등식을 활용하여, $ j_* \to \infty $일 때 열 劣한 열에 대한 선택 비율이 0으로 수렴함을 보인다.

실험 결과

연구 질문

• RQ1 기존 협업형 다중 에이전트 밴딧 알고리즘이 단 하나의 악성 에이전트가 임의의 열을 추천할 경우에도 위험 개선을 유지할 수 있는가?
• RQ2 정직한 에이전트는 악성 에이전트가 열 劣한 열을 추천할 경우 이를 어떻게 탐지하고 영향을 완화할 수 있는가?
• RQ3 정직한 에이전트의 노이즈 있는 추천 회복 필요성과 지속적인 악성 추천에 대한 처벌 사이의 균형을 이루는 차단 전략은 무엇인가?
• RQ4 악성 에이전트 $ m $명과 정직한 에이전트 $ n $명이 존재하는 다중 에이전트 밴딧 환경에서의 기본 위험 한계는 무엇인가?
• RQ5 악성 에이전트 행동에 대한 가정 없이도 $ O((m + K/n)\log T / \Delta) $ 수준의 위험 스케일링을 달성할 수 있는 강건한 알고리즘이 존재하는가?

주요 결과

• Chawla 등(2020b)의 알고리즘은 완전한 협력 조건에서는 잘 작동하지만, 단 하나의 악성 에이전트가 존재할 경우 $ \Omega(K\log T / \Delta) $의 위험을 입게 되며, 이는 단일 에이전트 기준선과 동일하다.
• 제안된 차단 알고리즘은 정직한 에이전트가 $ O((m + K/n)\log T / \Delta) $ 이내의 위험을 입게 하며, $ m \ll K $일 경우 단일 에이전트 기준선보다 향상된다.
• 차단 메커니즘은 시간이 지남에 따라 처벌 강도를 증가시켜 악성 에이전트의 영향력을 효과적으로 감소시키며, 차단 기간은 $ t^{2^k} $로 증가한다.
• 실험 결과, 제안된 알고리즘이 합성 및 실재 데이터셋에서 $ T = 10^5 $일 때 평균 위험을 기준선(Chawla 등, 2020b)의 40–60%로 낮춘다.
• 이론적 분석을 통해, $ j_* \to \infty $일 때 열 劣한 열에 대한 과도한 선택 확률이 0으로 수렴함을 확인하였으며, 이는 최적 성능 수렴을 보장한다.
• 漸近적 분석 결과 $ \zeta(j_*) \to (1 - 1/\sqrt{\alpha})^2 $로 수렴함을 확인하였으며, 이는 위험 수렴을 증명하기 위해 사용된 농도 경계의 타당성을 검증한다.