[논문 리뷰] The Impact of Complex and Informed Adversarial Behavior in Graphical Coordination Games

Keith Paarporn, Brian Canty외 3명|arXiv (Cornell University)|2019. 09. 05.

Distributed Control Multi-Agent Systems참고 문헌 35인용 수 12

한 줄 요약

이 논문은 고리 네트워크에서 그래픽 조정 게임의 로그선형 학습에 악성 영향이 미치는 방식을 조사한다. 약한 악성 행위자에 대해서는 동적 전략이 구조적 지식보다 더 해로운 반면, 강력한 악성 행위자에게는 네트워크 인식이 전략의 정교함보다 더 유리하다는 점을 보여주며, 이는 시스템 내성 설계에서 중요한 트레이드오프를 드러낸다.

ABSTRACT

How does system-level information impact the ability of an adversary to degrade performance in a networked control system? How does the complexity of an adversary's strategy affect its ability to degrade performance? This paper focuses on these questions in the context of graphical coordination games where an adversary can influence a given fraction of the agents in the system, and the agents follow log-linear learning, a well-known distributed learning algorithm. Focusing on a class of homogeneous ring graphs of various connectivity, we begin by demonstrating that minimally connected ring graphs are the most susceptible to adversarial influence. We then proceed to characterize how both (i) the sophistication of the attack strategies (static vs dynamic) and (ii) the informational awareness about the network structure can be leveraged by an adversary to degrade system performance. Focusing on the set of adversarial policies that induce stochastically stable states, our findings demonstrate that the relative importance between sophistication and information changes depending on the the influencing power of the adversary. In particular, sophistication far outweighs informational awareness with regards to degrading system-level damage when the adversary's influence power is relatively weak. However, the opposite is true when an adversary's influence power is more substantial.

연구 동기 및 목표

• 로그선형 학습을 사용하는 네트워크 제어 시스템에서 악성 영향이 시스템 성능에 미치는 영향을 이해하기 위해.
• 악성 전략의 정교함(정적 대비 동적)과 정보 인식(네트워크 구조에 대한 지식)이 시스템 열악화에 미치는 상대적 영향을 검토하기 위해.
• 동적 또는 정보 기반 정책이 시스템 효율성에 최대한의 피해를 줄 수 있는 조건을 규명하기 위해.
• 악성 조작 하에서 도달 가능한 최소 시스템 효율성에 대한 날것의 경계를 유도하기 위해.

제안 방법

• 에이전트들이 두 가지 관례(x 및 y) 중에서 선택하는 고리 그래프로 시스템을 모델링하며, 보상은 이웃 간의 조율에 따라 달라진다.
• 분산적 의사결정 규칙으로 로그선형 학습을 사용하여, 정상 조건 하에서 최적 행동으로의 점진적 수렴을 보장한다.
• γ의 비율에 해당하는 에이전트를 영향 받을 수 있는 악성 행위자를 도입하며, 전략은 정적(고정된 행동) 또는 동적(상태에 기반한 적응적 행동)으로 분류된다.
• 정보 수준 두 가지로 악성 정책을 분석: 무지(네트워크 구조에 대한 지식 없음) 및 정보(전체 네트워크 구조 지식 있음).
• 정수 최적화와 확률적 안정 상태의 안정성 분석을 통해 시스템 효율성에 대한 분석적 경계를 도출한다.
• 세그먼트 길이 최소화와 예산 제약 조건을 기반으로 한 증명을 통해 포화점과 최악의 성능를 특성화한다.

실험 결과

연구 질문

• RQ1 악성 행위자의 전략 정교함(정적 대비 동적)은 그래픽 조정 게임에서 시스템 성능 열악화 능력에 어떻게 영향을 미치는가?
• RQ2 악성 행위자의 네트워크 구조 지식(정보 있음 대비 무지)은 시스템 효율성 열악화에 효과적으로 어떻게 영향을 미치는가?
• RQ3 악성 영향에서 전략 정교함과 정보 인식 간의 트레이드오프는 무엇이며, 이는 악성 행위자의 영향 예산에 따라 어떻게 달라지는가?
• RQ4 어떤 조건에서 동적 전략이 정보 기반 전략보다 시스템 성능 열악화에 더 뛰어나게 작용하는가?
• RQ5 다양한 수준의 정교함과 정보에 따라 악성 정책이 도달할 수 있는 최소 시스템 효율성의 가장 날것의 하한은 무엇인가?

주요 결과

• 약한 악성 행위자(γ ≤ α)의 경우, 동적 전략은 정보 인식보다 훨씬 더 해로운 영향을 미치며, 도달 가능한 최소 효율은 1 − γ/(1 + α)이다.
• 악성 행위자가 높은 영향력을 행사할 경우(γ > α), 정보 인식이 전략 정교함보다 더 중요해지며, ℓ∗ 및 α를 포함한 더 복잡한 표현으로 효율이 경계된다.
• 안정화를 위한 최소 필요 세그먼트 길이는 정적 및 동적 정보 기반 정책 모두에서 y-세그먼트에 대해 ℓ∗ = ⌈(2 + α)/(1 − α)⌉, x-세그먼트에 대해 2이다.
• α < 1/2일 경우, 동적 정보 기반 악성 행위자는 각 y-세그먼트당 2명의 y-악성 행위자, 각 x-세그먼트당 2명의 x-악성 행위자로 충분하며, 이는 성능 포화를 달성하기 위한 총 예산을 감소시킨다.
• 정적 정보 기반 정책의 경우, 성능 포화점은 γ ≥ (ℓ∗ + ⌈(2 − α)/(1 + α)⌉) / (ℓ∗ + 2)를 만족할 때 도달된다.
• 동적 정보 기반 정책의 경우, 성능 포화점은 γ ≥ (2 + 2·1(α<1/2)) / (ℓ∗ + 2)를 만족할 때 도달되며, α < 1/2일 경우 동적 적응이 효율에 상당한 향상을 가져온다.