[論文レビュー] Distributed Learning with Adversarial Agents Under Relaxed Network Condition

Pooja Vyavahare, Lili Su+1 more|arXiv (Cornell University)|Jan 7, 2019

Distributed Sensor Networks and Detection Algorithms参考文献 11被引用数 8

ひとこと要約

本稿では、敵対的エージェントを伴うマルチエージェントネットワークにおける分散型非ベイズ学習アルゴリズムを提示する。このアルゴリズムはグローバルな合意形成を必要とせず、すべてのエージェントがそれ自身から到達可能なエージェントが真の状態を一意に特定できる場合、エージェントがほとんど確実に真の状態を学習できることを証明している。従来の研究で要求されていたネットワーク構造における合意形成の仮定を緩和した。

ABSTRACT

This work studies the problem of non-Bayesian learning over multi-agent network when there are some adversarial (faulty) agents in the network. At each time step, each non-faulty agent collects partial information about an unknown state of the world and tries to estimate true state of the world by iteratively sharing information with its neighbors. Existing algorithms in this setting require that all non-faulty agents in the network should be able to achieve consensus via local information exchange. In this work, we present an analysis of a distributed algorithm which does not require the network to achieve consensus. We show that if every non-faulty agent can receive enough information (via iteratively communicating with neighbors) to differentiate the true state of the world from other possible states then it can indeed learn the true state.

研究の動機と目的

• 一部のエージェントが敵対的（Byzantine障害）であるマルチエージェントネットワークにおける非ベイズ学習を扱う。
• 非故障エージェントが局所的通信によってグローバルな合意形成を達成する必要があるという従来の要件を緩和する。
• 非故障エージェントがまだほとんど確実に真の世界状態を学習できる条件を確立する。
• 従来の結果を、必ずしも強く連結であるか合意形成が可能なネットワークに限定されない一般化したネットワークへと拡張する。

提案手法

• 局所的通信と尤度比の幾何平均を用いた反復的情報共有に基づくアルゴリズムを提案する。
• 任意の非故障エージェントが、自身の隣接エージェントから十分な情報を受信し、真の状態を区別できるようなネットワーク条件を導入する。
• 情報伝播をモデル化するための行確率行列 Φ(t,r+1) を用い、故障エージェントの影響に上限を設ける。
• 信念の集中度を追跡する対数尤度比 ψₜⁱ(θ,θ*) を導入し、誤った状態ではそれが -∞ に発散することを示す。
• 補題1を用いて、ネットワークのソース成分における非故障エージェントの影響を制限し、真の状態への収束を保証する。
• ほとんど確実な収束解析を適用し、誤った状態に関する信念が漸近的に消滅することを証明する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな合意形成が達成されない場合でも、Byzantineエージェントを含むマルチエージェントネットワークにおける非ベイズ学習は成功するか？
• RQ2 非故障エージェントが真の状態を学習できるためのより弱いネットワーク条件は何か？
• RQ3 レジリエントな分散学習のためのネットワークにおける強連結性や合意形成の要件を緩和することは可能か？
• RQ4 合意形成が要求されない状況下で、故障エージェントの影響は信念収束にどのように作用するか？
• RQ5 この解析を動的または非同期ネットワーク設定へと拡張することは可能か？

主な発見

• アルゴリズムにより、すべての非故障エージェントが時間の経過とともにほとんど確実に真の状態 θ* に信念を集中させることが保証される。
• 収束の鍵となる条件は、あるエージェントから到達可能なすべてのエージェントが、真の状態を一意に特定できることである。
• 解析ではネットワークが合意形成に達する必要がなく、従来の研究で基本的とされてきた仮定を緩和している。
• 任意の誤った状態 θ ≠ θ* に対する信念は、ψₜⁱ(θ,θ*) → -∞ であるため、ほとんど確実に0に収束する。
• 収束速度は時間の2次式で下限づけられており、ψₜⁱ(θ,θ*)/t² ≤ -β^ν C₁/(2n) を満たす定数 β, ν, C₁ が存在する。
• 結果は故障なしのネットワークに対しても拡張可能であり、従来の研究が強連結性を要件としていたのとは異なり、非連結または弱連結なコンponentsを許容する。