[논문 리뷰] Adversary-resilient Inference and Machine Learning: From Distributed to Decentralized.

Zhixiong Yang, Arpita Gang외 1명|arXiv (Cornell University)|2019. 08. 23.

Advanced Memory and Neural Computing참고 문헌 23인용 수 13

한 줄 요약

이 논문은 악성 노드가 프로토콜에서 임의로 이탈할 수 있는 바이진틴 위협 모델 하에서 분산 및 탈중앙화된 시스템에서의 적대적 내성 추론 및 머신러닝에 대한 종합적인 설문 조사 결과를 제시한다. 이는 이러한 공격에 대비한 강건성을 보장하는 최근의 알고리즘적 진전을 통합하여, 적대적 조건 하에서의 내성 집계, 합의, 학습에 대한 통찰을 제공한다.

ABSTRACT

While the last few decades have witnessed a huge body of work devoted to inference and learning in distributed and decentralized setups, much of this work assumes a non-adversarial setting in which individual nodes---apart from occasional statistical failures---operate as intended within the algorithmic framework. In recent years, however, cybersecurity threats from malicious non-state actors and rogue entities have forced practitioners and researchers to rethink the robustness of distributed and decentralized algorithms against adversarial attacks. As a result, we now have a plethora of algorithmic approaches that guarantee robustness of distributed and/or decentralized inference and learning under different adversarial threat models. Driven in part by the world's growing appetite for data-driven decision making, however, securing of distributed/decentralized frameworks for inference and learning against adversarial threats remains a rapidly evolving research area. In this article, we provide an overview of some of the most recent developments in this area under the threat model of Byzantine attacks.

연구 동기 및 목표

• 적대적 조건 하에서 탈중앙화 및 분산 시스템에서의 강건한 추론 및 학습에 대한 증가하는 수요를 해결하기 위해.
• 분산 알고리즘의 전통적 방식이 바이진틴 공격을 받을 경우 드러나는 취약점을 특정하고 분석하기 위해.
• 탈중앙화된 학습 프레임워크에서 노드의 임의의 행동에 대비한 내성 보장을 보장하는 최근의 알고리즘적 해법을 설문 조사하기 위해.
• 실세계의 데이터 기반 시스템에서 확장 가능하고 실용적인 적대적 내성 확보에 있어 도전 과제와 열린 문제를 부각하기 위해.

제안 방법

• 분산 및 탈중앙화된 학습 시스템에서 바이진틴 적대자에 대비한 저항을 위한 기존 알고리즘적 접근 방식을 설문 조사하고 분류하기 위해.
• 노드가 임의로 행동할 수 있는 위협 모델에 집중하며(바이진틴 장애 포함), 기울기, 모델 업데이트 또는 데이터 조작이 가능함.
• 강건한 집계 규칙(예: 중앙값, 잘라낸 평균, Krum)과 같은 기법들을 검토하고, 합의 메커니즘 및 부가 기반 감지 기법을 분석하기 위해.
• 이러한 방어 기법들이 페더레이티드 학습 및 탈중앙화 최적화 프레임워크 내에서 어떻게 통합되는지 분석하기 위해.
• 강건성, 수렴 속도, 통신 효율성, 시스템 확장성 간의 상호 교환 관계 평가하기 위해.
• 적대자 제어 및 네트워크 토폴로지에 대한 다양한 가정 하에서 이러한 방어 기법의 성능에 대한 통찰을 통합하기 위해.

실험 결과

연구 질문

• RQ1 표준 탈중앙화 및 분산 학습 알고리즘이 바이진틴 위협 모델 하에서 겪는 주요 취약점은 무엇인가요?
• RQ2 다양한 강건한 집계 기법들은 탈중앙화 학습에서 바이진틴 업데이트의 영향을 어떻게 완화합니까?
• RQ3 적대자 내성 학습에서 강건성, 수렴, 통신 오버헤드 간의 성능 상호 교환 관계는 어떻게 되나요?
• RQ4 합의 및 부가 기반 메커니즘은 탈중앙화된 추론 및 학습에서 내성성을 어떻게 향상합니까?
• RQ5 대규모 실세계 탈중앙화 시스템에 바이진틴 내성 알고리즘을 확장하는 데 있어 열려 있는 도전 과제는 무엇입니까?

주요 결과

• 최근의 알고리즘적 접근 방식은 탈중앙화된 학습 시스템의 바이진틴 적대자에 대한 내성성을 크게 향상시켰다.
• Krum 및 잘라낸 평균과 같은 강건한 집계 규칙은 탈중앙화 최적화에서 악성 업데이트의 영향을 효과적으로 줄였다.
• 합의 기반 방어 기법은 적대적 조건 하에서 탈중앙화 시스템의 협력과 일관성을 향상시켰다.
• 부가 및 감지 기반 메커니즘의 통합은 수렴 속도를 희생시키지 않고도 고장 내성성을 향상시켰다.
• 강건성, 통신 비용, 수렴 속도 간의 상호 교환 관계는 실용적 구현에서 여전히 핵심 과제이다.
• 이 분야는 급속도로 발전하고 있으며, 실세계 데이터 기반 시스템에 적합한 확장 가능하고 효율적인 해법에 대한 관심이 증가하고 있다.