[논문 리뷰] A Survey on Fault-tolerance in Distributed Optimization and Machine Learning

Shuo Liu|arXiv (Cornell University)|2021. 06. 16.

IoT and Edge/Fog Computing참고 문헌 121인용 수 6

한 줄 요약

이 종합 검토는 분산 최적화 및 머신러닝에서 장애 내성에 대해 포괄적인 개요를 제공하며, 바르잔틴 내성, 기울기 필터링, 기울기 코드화, 프라이버시 보존 기법을 중심으로 다룬다. 확장성, 비동기성, 악성 모델링과 같은 주요 과제를 규명하고, 효율적이고 견고하며 프라이버시를 보장하는 분산 학습 시스템을 위한 열린 문제를 강조한다.

ABSTRACT

The robustness of distributed optimization is an emerging field of study, motivated by various applications of distributed optimization including distributed machine learning, distributed sensing, and swarm robotics. With the rapid expansion of the scale of distributed systems, resilient distributed algorithms for optimization are needed, in order to mitigate system failures, communication issues, or even malicious attacks. This survey investigates the current state of fault-tolerance research in distributed optimization, and aims to provide an overview of the existing studies on both fault-tolerant distributed optimization theories and applicable algorithms.

연구 동기 및 목표

• 분산 최적화 및 머신러닝에서의 장애 내성 연구 현황을 분석하기.
• 서버 기반 및 피어 투 피어 아키텍처 등 다양한 시스템 아키텍처에서 바르잔틴 장애 내성 알고리즘, 특히 기울기 필터링 및 기울기 코드화 기법을 검토하기.
• 분산 학습 시스템에서 장애 내성과 프라이버시의 교차점 탐색하기.
• 견고한 분산 최적화를 위한 비동기성, 피어 투 피어 네트워크, 악성 모델링 분야에서의 열린 과제 규명하기.
• 장애 내성 분산 최적화를 위한 내성 표기법과 해법 조건에 대한 체계적인 개요 제공하기.

제안 방법

• 기울기 필터링 및 코드화를 활용한 바르잔틴 내성 및 부가 기반 방법으로 장애 내성 접근 방식을 분류한다.
• Bulyan 및 Krum과 같은 기울기 필터 기법을 검토하여 분산 SGD에서 악성 기울기를 식별하고 거부한다.
• 기울기를 중복을 통해 인프라에 따라 스트래글러 및 바르잔틴 장애를 견딜 수 있도록 인코딩하는 기울기 코드화 방법을 분석한다.
• 서버 기반 및 피어 투 피어 모델을 포함한 시스템 아키텍처를 검토하며, 알고리즘 적용성의 차이점을 강조한다.
• 기울기 기반 내성 표기법인 $(f,r;\epsilon)$-중복성과 같은 표기법을 도입하여 바르잔틴 장애 및 스트래글러를 동시에 처리할 수 있도록 모델링한다.
• 프라이버시와 장애 내성 간의 상호 교환 관계 평가를 통해, 오차율이 $\frac{d}{b^2}$ 비례하는 차등 프라이버시 기반 기울기 필터링의 특성을 분석한다.

실험 결과

연구 질문

• RQ1 특히 비용 함수의 중복성에 초점을 맞춰, 바르잔틴 장애 내성 분산 최적화의 이론적 해법 조건은 무엇인가?
• RQ2 기울기 필터링 및 기울기 코드화 기법은 분산 확률적 기울기 하강법에서 어떻게 장애 내성을 달성하는가?
• RQ3 피어 투 피어 네트워크 구조와 서버 기반 네트워크 아키텍처 간의 성능 및 수렴 특성 간의 상호 교환 관계는 어떠한가?
• RQ4 모델 정확도를 크게 떨어뜨리지 않으면서 분산 학습에서 장애 내성과 차등 프라이버시를 어떻게 통합할 수 있는가?
• RQ5 비동기적 및 동적 네트워크 환경으로의 장애 내성 알고리즘 확장에 있어 열린 과제는 무엇인가?

주요 결과

• 강凸성 학습 작업에서는 차등 프라이버시를 적용한 바르잔틴 내성 기울기 필터링 기법이 $\frac{d}{b^2}$ 정도의 학습 오차율을 보이며, 여기서 $d$는 모델 차원이고 $b$는 배치 크기이다.
• 비프라이버시 기반 기울기 필터링 기법은 $d$에 의존하지 않는 오차율을 보이며, 이는 프라이버시와 장애 내성 효율성 사이의 상당한 상충 관계를 시사한다.
• 기존의 기울기 필터링 기법은 특히 확률적 환경에서 높은 계산 비용이나 약한 수렴 성질로 인해 어려움을 겪는 경우가 많다.
• 피어 투 피어 아키텍처에서의 바르잔틴 장애 내성은 아직 탐색이 부족하며, 서버 기반 모델에 비해 체계적인 결과가 제한되어 있다.
• 비동기 장애 내성 최적화는 아직 열린 분야이며, 비동기성과 바르잔틴 내성의 직접적 통합을 다룬 연구 결과가 거의 없다.
• $(f,r;\epsilon)$-중복성 모델은 $(2f,\epsilon)$-중복성의 일반화로, 동시에 최대 $f$개의 바르잔틴 에이전트와 $r$개의 스트래글러를 처리할 수 있도록 하며, 통합된 장애 모델을 제공한다.