[논문 리뷰] Byzantine Fault Tolerance in Distributed Machine Learning : a Survey

Djamila Bouhata, Hamouma Moumen외 2명|arXiv (Cornell University)|2022. 05. 05.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 종합 검토는 확률적 경사 하강법(SGD)과 같은 1차 최적화 방법을 중심으로 분산 기계 학습(DML)에서 바르자인 Fault Tolerance(BFT)에 대한 종합적인 분석을 제공한다. 통신 패턴, 최적화 방법, 아키텍처 구조를 기반으로 BFT 기법을 분류하며, 가장 널리 사용되는 것은 필터링 기법이며, 블록체인 기반 솔루션은 아직 보급은 적지만 잠재력이 높다고 평가한다.

ABSTRACT

Byzantine Fault Tolerance (BFT) is one of the most challenging problems in Distributed Machine Learning (DML), defined as the resilience of a fault-tolerant system in the presence of malicious components. Byzantine failures are still difficult to deal with due to their unrestricted nature, which results in the possibility of generating arbitrary data. Significant research efforts are constantly being made to implement BFT in DML. Some recent studies have considered various BFT approaches in DML. However, some aspects are limited, such as the few approaches analyzed, and there is no classification of the techniques used in the studied approaches. In this paper, we present a survey of recent work surrounding BFT in DML, mainly in first-order optimization methods, especially Stochastic Gradient Descent(SGD). We highlight key techniques as well as fundamental approaches. We provide an illustrative description of the techniques used in BFT in DML, with a proposed classification of BFT approaches in the context of their fundamental techniques. This classification is established on specific criteria such as communication process, optimization method, and topology setting, which characterize future work methods addressing open challenge

연구 동기 및 목표

• 최근 분산 기계 학습(DML)에서의 바르자인 Fault Tolerance(BFT) 접근법을 분석하기 위해.
• 통신 과정, 최적화 방법, 아키텍처 구조 설정 기반으로 BFT 기법을 분류하기 위해.
• 필터링 기법과 신규로 부상하고 있는 블록체인 기반 솔루션과 같은 주요 기법을 특정하기 위해.
• 노드 장애, 악성 행동, 통신 비효율성과 같은 BFT의 주요 과제를 부각하기 위해.
• 특히 피어드 페더레이티드 러닝과 부분적으로 비동기 설정에서의 향후 연구 방향을 제시함으로써 연구를 이끌기 위해.

제안 방법

• 이 종합 검토는 주로 1차 최적화 방법, 특히 SGD에 초점을 맞춘 최근 DML에서의 BFT 관련 연구를 체계적으로 검토한다.
• 통신 과정(동기, 비동기, 부분적으로 비동기), 최적화 방법(1차, 2차), 아키텍처 구조(중앙집중형, 분산형, 완전히 분산형)를 기준으로 BFT 기법을 분류하는 프레임워크를 제안한다.
• 예를 들어 노름 필터링, 노름 제한 필터링 등의 필터링 기법, 오류 수정 코드 등의 코드 기반 기법, LearningChain, BlockDeepNet 등의 블록체인 기반 시스템을 포함한 다양한 기법을 평가한다.
• 각 기법의 계산 복잡도, 수렴 특성, 데이터 기밀성 특성을 분석한다.
• 비잔틴 워커가 임의의 기울기를 생성하는 등 다양한 장애 모델 하에서 BFT 메커니즘의 성능을 평가한다.
• 통신 효율성과 노드 탈락에 대한 내성 강화를 고려하여, BFT를 현대적 DML 패러다임인 피어드 페더레이티드 러닝과 통합하는 방식을 논의한다.

실험 결과

연구 질문

• RQ1 분산 기계 학습에서 BFT에 사용되는 주요 기법은 무엇이며, 내성과 효율성 측면에서 어떻게 비교될 수 있는가?
• RQ2 동기, 비동기, 부분적으로 비동기 통신 모델은 DML에서 BFT 메커니즘의 설계와 성능에 어떤 영향을 미치는가?
• RQ3 필터링 기법, 코드 기반 기법, 블록체인은 DML에서 비잔틴 공격을 완화하는 데 어떤 역할을 하는가? 각 기법은 구현 방식과 확장성 측면에서 어떻게 다를까?
• RQ4 중앙집중형, 분산형, 피어 투 피어 아키텍처 설정은 DML에서 BFT 솔루션의 효과성과 구현 가능성에 어떤 영향을 미치는가?
• RQ5 실제 DML 시스템, 특히 이질적이고 신뢰할 수 없는 노드가 존재하는 엣지 환경에서의 피어드 페더레이티드 러닝에서 강력한 BFT를 달성하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 현재 DML 연구에서 가장 널리 사용되는 BFT 기법은 필터링 기법이며, 구현 용이성과 보급도 측면에서 코드 기반 기법과 블록체인 기반 기법보다 뛰어나다.
• 비록 실제 구현에서 엄격한 조율 요구 사항으로 인해 제한이 있지만, 대부분의 연구에서 동기 학습 설정이 선호된다.
• 블록체인 기반 BFT 솔루션은 수가 적지만, 데이터 기밀성과 오염 공격에 대한 저항성을 확보하면서도 신뢰할 수 없는 환경에서 협업 학습을 가능하게 하여 강력한 잠재력을 보인다.
• 블록체인을 다른 BFT 기법과 통합하면 보안성과 확장성을 향상시킬 수 있으며, 이는 내성적이고 분산된 DML 시스템을 향한 길을 열어준다.
• 부분적으로 비동기 및 비동기 학습 모델은 아직 충분히 탐색되지 않은 분야로, 현재 DML의 BFT 연구에서 핵심적인 갭으로 남아 있다.
• 피어드 페더레이티드 러닝은 엣지 환경에서의 비잔틴 노드와 신뢰할 수 없는 통신으로 인해 취약성이 높기 때문에 향후 BFT 연구의 핵심 분야로 지목된다.