[논문 리뷰] Trends and Advancements in Deep Neural Network Communication

Felix Sattler, Thomas Wiegand외 1명|arXiv (Cornell University)|2020. 03. 06.

Adversarial Robustness in Machine Learning참고 문헌 91인용 수 4

한 줄 요약

이 논문은 통신 효율적인 딥 뉴럴 네트워크(DNN) 훈련 및 추론을 분산형, 프라이버시 민감한 환경—특히 모바일 및 IoT 시스템—에서 데이터에 지능을 이식함으로써 모델 파라미터 교환을 통해 검토한다. 압축 기법, 수렴 도전 과제, 프라이버시-강건성 상충 관계를 조사하며, 페더레이티드 러닝, 온디바이스 추론, 모델 이전 분야에서의 통신 효율성 통합 연구를 주장한다.

ABSTRACT

Due to their great performance and scalability properties neural networks have become ubiquitous building blocks of many applications. With the rise of mobile and IoT, these models now are also being increasingly applied in distributed settings, where the owners of the data are separated by limited communication channels and privacy constraints. To address the challenges of these distributed environments, a wide range of training and evaluation schemes have been developed, which require the communication of neural network parametrizations. These novel approaches, which bring the "intelligence to the data" have many advantages over traditional cloud solutions such as privacy-preservation, increased security and device autonomy, communication efficiency and high training speed. This paper gives an overview over the recent advancements and challenges in this new field of research at the intersection of machine learning and communications.

연구 동기 및 목표

• 중앙 집중형 클라우드 기반 머신 러닝(Cloud ML)의 한계를 해결하기 위해, 프라이버시 리스크, 데이터 소유권 문제, 모바일 및 IoT 환경에서의 통신 비효율성을 다루며.
• 원자료가 아닌 모델을 공유함으로써 데이터 국지성과 대역폭 사용을 줄이는 새로운 패러다임인 임베디드 ML(Embedded ML)의 필요성을 규명하며.
• 분산 DNN 훈련 및 추론에서의 통신 오버헤드를 줄이기 위해 신경망 데이터 압축 기법을 체계적으로 분석하며.
• 비독립 동일분포(non-iid) 데이터 하에서의 수렴 문제, 모델 업데이트를 통한 프라이버시 泄露, 통신 효율적 환경에서의 적대적 공격에 대한 강건성 등의 핵심 과제를 검토하며.
• 특히 5G 및 IoT 생태계에서의 실세계 구현을 위해, 분산 딥 러닝에서의 통신 효율성, 프라이버시, 강건성에 대한 통합 연구를 주장하며.

제안 방법

• 페더레이티드 러닝, 온디바이스 추론, 모델 이전, 공동 훈련의 네 가지 핵심 DNN 통신 설정을 분류하고 비교하며, 모두 신경망 파라미터 교환을 중심으로 한다.
• 압축률을 높이기 위해 양자화, 자르기, 지식 정복과 같은 다양한 모델 압축 기법을 검토한다.
• 비독립 동일분포(non-iid) 데이터 가정 하에서 통신 압축이 적용된 분산 훈련의 수렴 특성을 분석한다.
• 차별적 프라이버시, 보안 다자간 계산, 신뢰성 있는 실행 환경 등의 프라이버시 보존 메커니즘을 평가하고, 이와 압축 기법의 통합 가능성을 검토한다.
• 동기화 전략(동기화 대비 비동기 훈련)을 평가하고, 이들이 수렴 속도와 모델 업데이트의 오래됨(staleness)에 미치는 영향을 분석한다.
• 표준화(예: MPEG Part 17)가 임베디드 ML의 상호운용성 신경 데이터 전송 및 대규모 배포를 가능하게 하며, 그 역할을 부각한다.

실험 결과

연구 질문

• RQ1 모델 정확도나 수렴에 영향을 주지 않으면서도 분산 딥 러닝에서 통신 효율성을 어떻게 극대화할 수 있는가?
• RQ2 페더러티드 및 온디바이스 학습에서 모델 압축, 프라이버시 보장, 강건성 간의 상충 관계는 무엇인가?
• RQ3 비독립 동일분포(non-iid) 데이터 분포는 페더러티드 러닝에서 압축된 통신의 수렴에 어떤 영향을 미치는가?
• RQ4 차별적 프라이버시와 같은 프라이버시 보존 기법을 신경 데이터 압축과 효과적으로 통합할 수 있는 정도는 어느 정도인가?
• RQ5 통신 프로토콜 및 표준화(예: MPEG Part 17)는 확장 가능하고 상호운용성이 보장된 임베디드 ML 시스템을 구현하는 데 어떤 역할을 하는가?

주요 결과

• 특히 대역폭 제약과 프라이버시 제약이 있는 모바일 및 IoT 환경에서, 신경망 파arametrization 통신이 분산 AI의 주요 병목 현상이 되고 있다.
• 양자화 및 자르기와 같은 모델 압축 기법은 전송되는 DNN 파라미터 크기를 크게 줄여 통신 효율성을 향상시키며, 정확도 손실이 크지 않다.
• 압축이 적용된 분산 훈련의 수렴은 데이터의 비독립 동일분포성(non-iidness)에 민감하며, 기존 이론적 보장은 압축이 적용된 경우에 덜 강건하다.
• 차별적 프라이버시 및 보안 계산과 같은 프라이버시 보존 방법은 모델 업데이트를 통해 정보 泄露를 일으킬 수 있어, 압축과의 조심스러운 통합이 필요하다.
• 비동기 훈련은 느린 작업자(staleness) 지연을 피할 수 있지만, 이로 인해 수렴 속도가 저하될 수 있으며, 특히 후기 훈련 단계에서 더욱 두드러진다.
• MPEG Part 17과 같은 표준화 노력이 신경 데이터 전송을 위한 상호운용 형식을 정의함으로써, 임베디드 ML의 광범위한 배포를 가능하게 하고 있다.