[논문 리뷰] COKE: Communication-Censored Kernel Learning for Decentralized Non-parametric Learning.

Ping Xu, Yue Wang외 2명|arXiv (Cornell University)|2020. 01. 28.

Distributed Sensor Networks and Detection Algorithms인용 수 8

한 줄 요약

COKE는 원시 데이터 공유 없이 크기 일관된 파라미터 교환과 공감을 가능하게 하는 커뮤니케이션-센서링 커널 학습 프레임워크를 제안한다. 랜덤 특징 근사화를 통해 고차원 데이터를 낮은 차원의 랜덤 특징 공간으로 매핑함으로써, 에이전트 간의 크기 일관된 파라미터 교환을 가능하게 한다. 적응형 전송을 갖춘 분할 정복 다중승수 방법(ADMM) 기반 알고리즘을 통해 선형 수렴성과 뛰어난 통신 효율성을 달성하였으며, 합성 및 실재 데이터셋에서 검증되었다.

ABSTRACT

This paper studies the decentralized optimization and learning problem where multiple interconnected agents aim to learn an optimal decision function defined over a reproducing kernel Hilbert (RKH) space by jointly minimizing a global objective function, with access to locally observed data only. As a non-parametric approach, kernel learning faces a major challenge in distributed implementation: the decision variables of local objective functions are data-dependent with different sizes and thus cannot be optimized under the decentralized consensus framework without any raw data exchange among agents. To circumvent this major challenge and preserve data privacy, we leverage the random feature (RF) approximation approach to map the large-volume data represented in the RKH space into a smaller RF space, which facilitates the same-size parameter exchange and enables distributed agents to reach consensus on the function decided by the parameters in the RF space. For fast convergent implementation, we design an iterative algorithm for Decentralized Kernel Learning via Alternating direction method of multipliers (DKLA). Further, we develop a COmmunication-censored KErnel learning (COKE) algorithm to reduce the communication load in DKLA. To do so, we apply a communication-censoring strategy, which prevents an agent from transmitting at every iteration unless its local updates are deemed informative. Theoretical results in terms of linear convergence guarantee and generalization performance analysis of DKLA and COKE are provided. Comprehensive tests with both synthetic and real datasets are conducted to verify the communication efficiency and learning effectiveness of COKE.

연구 동기 및 목표

• 로컬 결론 변수가 데이터에 의존하고 크기가 다른 복원 커널 힐버트 공간에서의 탈중앙화 비모수적 학습 문제에 도전한다.
• 원시 데이터 공유의 장벽을 극복하기 위해, 랜덤 특징 근사화를 통한 파라미터 교환을 통해 탈중앙화 공감을 가능하게 한다.
• 수렴성과 일반화 성능를 유지하면서 탈중앙화 커널 학습의 통신 오버헤드를 줄인다.
• 정보가 있다고 판단되는 경우에만 업데이트를 전송하는 커뮤니케이션-센서링 전략을 설계한다. 이를 통해 효율성을 향상시킨다.
• 제안된 DKLA 및 COKE 알고리즘에 대해 선형 수렴성과 일반화 성능에 대한 이론적 보장을 제공한다.

제안 방법

• 복원 커널 힐버트 공간(RKHS) 내 고차원 데이터를 낮은 차원의 랜덤 특징(RF) 공간으로 매핑하기 위해 랜덤 특징(RF) 근사화를 적용함으로써, 에이전트 간에 균일한 크기의 파라미터 교환을 가능하게 한다.
• ADMM 기반 최적화 프레임워크(DKLA)를 사용하여 RF 공간에서의 공감 문제를 해결하기 위해 탈중앙화 커널 학습 문제를 수립한다.
• 로컬 업데이트의 정보성 여부를 평가하여 전송 이전에 검토하는 커뮤니케이션-센서링 메커니즘을 도입함으로써 불필요한 통신을 줄인다.
• 이전 반복에서의 변화 정도에 기반하여, 에이전트가 업데이트된 파라미터를 전송할지 여부를 결정하기 위한 임계값 기반 기준을 사용한다.
• 수렴성을 유지하면서 통신 라운드 수를 최소화하기 위해 센서링 전략을 ADMM 프레임워크에 통합한다.
• RKHS의 구조와 RF 근사화의 특성을 활용하여, RF 공간에서의 공감이 원래 커널 공간에서의 유효한 결론 함수에 대응하도록 보장한다.

실험 결과

연구 질문

• RQ1 랜덤 특징 근사화를 통해 데이터에 의존하는 파라미터를 공통 크기의 표현으로 변환함으로써 원시 데이터 공유 없이 탈중앙화 커널 학습을 가능하게 할 수 있는가?
• RQ2 제안된 DKLA 알고리즘이 ADMM 프레임워크 하에서 탈중앙화 커널 학습에서 선형 수렴성을 달성하는가?
• RQ3 COKE의 커뮤니케이션-센서링 전략이 학습 성능을 저하시키지 않으면서 통신 부하를 얼마나 줄이는가?
• RQ4 수렴 속도와 일반화 오차 측면에서 COKE는 기준 탈중앙화 학습 방법과 어떻게 비교되는가?
• RQ5 제안된 커뮤니케이션-센서링 탈중앙화 커널 학습 프레임워크에 대해 수렴성과 일반화에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• COKE는 ADMM 프레임워크 하에서 탈중앙화 커널 학습 문제에 대해 선형 수렴성을 달성하며, DKLA 및 COKE에 대해 이론적 보장을 제공한다.
• COKE의 커뮤니케이션-센서링 전략은 반복당 전송 횟수를 크게 줄여 통신 효율성을 향상시켰으며, 수렴성에 영향을 주지 않는다.
• 합성 및 실재 데이터셋에 대한 실험적 평가 결과, COKE는 비센서링 기준 대비 통신 부하를 줄이면서도 높은 학습 정확도를 유지함을 확인하였다.
• 랜덤 특징 근사화가 원래 커널 방법의 일반화 성능를 유지함으로써 RF 공간에서의 효과적인 학습이 가능하다.
• COKE는 다양한 데이터 분포와 네트워크 토폴로지에서 뛰어난 성능를 보이며, 확장성과 개인정보 보호 성질을 확인하였다.
• 이론적 분석을 통해 COKE의 일반화 오차가 유한하고 중심화된 커널 학습과 유사함을 확인하였으며, 이는 탈중앙화 환경에서의 효과성을 검증한다.