[論文レビュー] Robust Multi-Agent Multi-Armed Bandits

Daniel Vial, Sanjay Shakkottai+1 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Bandit Algorithms Research参考文献 34被引用数 4

ひとこと要約

本稿では、劣悪な腕を推薦する悪意あるエージェントをブロックすることで、誠実なエージェントが敵対的干渉に対しても低レグレットを維持できる、耐障害性の高いマルチエージェント多腕バンディットアルゴリズムを提案する。$ m $ 個の悪意あるエージェントが存在する場合、レグレットが $ O((m + K/n)\log T / \Delta) $ で有界であることを証明しており、$ m \ll K $ の場合、悪意ある行動に関する仮定なしに、ベースラインと比べ顕著な改善が得られる。

ABSTRACT

Recent works have shown that agents facing independent instances of a stochastic $K$-armed bandit can collaborate to decrease regret. However, these works assume that each agent always recommends their individual best-arm estimates to other agents, which is unrealistic in envisioned applications (machine faults in distributed computing or spam in social recommendation systems). Hence, we generalize the setting to include $n$ honest and $m$ malicious agents who recommend best-arm estimates and arbitrary arms, respectively. We first show that even with a single malicious agent, existing collaboration-based algorithms fail to improve regret guarantees over a single-agent baseline. We propose a scheme where honest agents learn who is malicious and dynamically reduce communication with (i.e., "block") them. We show that collaboration indeed decreases regret for this algorithm, assuming $m$ is small compared to $K$ but without assumptions on malicious agents' behavior, thus ensuring that our algorithm is robust against any malicious recommendation strategy.

研究の動機と目的

• 悪意あるエージェントが任意の腕を推薦する状況下で、既存の協調的マルチエージェントバンディットアルゴリズムの脆さを是正すること。
• 悪意あるエージェントの行動が有界または協力的であると仮定しないまま、低レグレットを維持できる耐障害性の高いアルゴリズムを設計すること。
• 1 つの悪意あるエージェントが存在するだけで失敗する、先行研究（例：Chawlaら、2020b）の失敗を形式的に定式化すること。
• 悪意あるエージェントの数 $ m $ と腕の数 $ K $ に応じて滑らかにスケーリングする理論的レグレットバウンドを確立すること。

提案手法

• 後で劣悪に動作することが判明した腕を推薦したエージェントはブロック（無視）されるブロッキングメカニズムを導入する。
• 指数的に増加するブロッキング期間を用いる：時刻 $ t $ に推薦された場合、$ t^2 $ までブロックされ、その後 $ t^4 $、$ t^8 $ と続く。
• 誠実なエージェントが、性能が悪い結果をもたらす推薦を行うエージェントを学習によって避けられる動的信頼メカニズムを採用する。
• ブロッキング下での非最適腕の引数回数を分析するため、レグレット分解と集中度の不等式（補題5を用いる）。
• 漸近的挙動と誤差確率の収束を分析するため、増加する時間間隔の列 $ A_{j_*} = \lceil j_*^\beta \rceil $ を用いる。
• 和集合の不等式と尾確率の不等式を用いて、$ j_* \to \infty $ のとき、非最適腕への引き数の割合が消えることを示す。

実験結果

リサーチクエスチョン

• RQ1 1 つの悪意あるエージェントが任意の腕を推薦する場合、既存の協調的マルチエージェントバンディットアルゴリズムは、レグレットの改善を維持できるか？
• RQ2 誠実なエージェントは、劣悪な腕を推薦する悪意あるエージェントの影響をどのように検出し、是正できるか？
• RQ3 誠実なエージェントのノイズの多い推薦からの回復を図る必要と、継続的な悪意ある推薦に対する罰則のバランスを取るブロッキング戦略は何か？
• RQ4 悪意あるエージェントが $ m $ 名、誠実なエージェントが $ n $ 名存在するマルチエージェントバンディット設定における、根本的なレグレット限界は何か？
• RQ5 悪意あるエージェントの行動に関する仮定なしに、$ O((m + K/n)\log T / \Delta) $ のスケーリングを達成できる耐障害性の高いアルゴリズムは存在するか？

主な発見

• Chawla ら（2020b）のアルゴリズムは、完全な協力下では良好に機能するが、1 体の悪意あるエージェントが存在するだけで失敗し、$ \Omega(K\log T / \Delta) $ のレグレットを被る。これは単一エージェントのベースラインと同一である。
• 提案するブロッキングアルゴリズムにより、誠実なエージェントのレグレットは $ O((m + K/n)\log T / \Delta) $ で有界となり、$ m \ll K $ の場合、単一エージェントベースラインを上回る改善が達成される。
• ブロッキングメカニズムにより、悪意あるエージェントの影響が時間の経過とともに著しく低下し、ブロッキング期間が $ t^{2^k} $ と増加することで罰則の強度が高まる。
• 実験結果では、合成データおよび実データの両方で、$ T = 10^5 $ 時点での平均レグレットが、ベースライン（Chawla ら、2020b）の 40–60％にまで低下している。
• 理論的分析により、非最適腕への過剰な引き数の確率が $ j_* \to \infty $ のとき消えることが確認され、最適性能への収束が保証される。
• 漸近的解析により、$ \zeta(j_*) \to (1 - 1/\sqrt{\alpha})^2 $ が得られ、レグレット収束を示すために用いられた集中度の不等式が妥当であることが裏付けられた。