[논문 리뷰] Decentralized RLS with Data-Adaptive Censoring for Regressions over Large-Scale Networks

Zifeng Wang, Zheng Yu외 3명|arXiv (Cornell University)|2016. 12. 25.

Advanced Adaptive Filtering Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 대규모 네트워크에서 계산 및 통신 오버헤드를 줄이기 위해 분산형 재귀 최소 제곱법(D-RLS) 알고리즘에 적응형 데이터 캐서닝 전략을 세 가지 제안한다. 낮은 혁신도를 가진 관측치를 기각하고, 선택적으로 추정치를 전송함으로써, 결과적으로 CD-RLS 알고리즘은 자원 사용을 크게 줄이면서도 최적의 해에 수렴함을 보여준다. 이 과정에서 추정 정확도를 유지한다.

ABSTRACT

The deluge of networked data motivates the development of algorithms for computation- and communication-efficient information processing. In this context, three data-adaptive censoring strategies are introduced to considerably reduce the computation and communication overhead of decentralized recursive least-squares (D-RLS) solvers. The first relies on alternating minimization and the stochastic Newton iteration to minimize a network-wide cost, which discards observations with small innovations. In the resultant algorithm, each node performs local data-adaptive censoring to reduce computations, while exchanging its local estimate with neighbors so as to consent on a network-wide solution. The communication cost is further reduced by the second strategy, which prevents a node from transmitting its local estimate to neighbors when the innovation it induces to incoming data is minimal. In the third strategy, not only transmitting, but also receiving estimates from neighbors is prohibited when data-adaptive censoring is in effect. For all strategies, a simple criterion is provided for selecting the threshold of innovation to reach a prescribed average data reduction. The novel censoring-based (C)D-RLS algorithms are proved convergent to the optimal argument in the mean-square deviation sense. Numerical experiments validate the effectiveness of the proposed algorithms in reducing computation and communication overhead.

연구 동기 및 목표

• 대규모 네트워크에서 분산형 RLS의 높은 계산 및 통신 비용을 해결하기 위해.
• 혁신도의 크기를 기반으로 한 데이터 적응형 캐서닝을 활용해 부정확한 데이터 처리 및 전송을 줄이기 위해.
• 최소 자원 사용을 추구하면서도 전체 정밀도 D-RLS와 비교해 유사한 추정 정확도를 유지하기 위해.
• 지정된 평균 데이터 감소율을 달성하기 위한 임계값 선택 기준을 개발하기 위해.
• 평균 루트 편차 기준으로 제안된 캐서닝 기반 알고리즘의 수렴성을 증명하기 위해.

제안 방법

• 네트워크 전역 비용을 최소화하기 위해 교대 최소화와 확률적 뉴턴 반복을 사용하는 첫 번째 캐서닝 전략을 도입하며, 혁신도가 작은 관측치를 기각한다.
• 각 노드에서 국소적으로 데이터 적응형 캐서닝을 적용해 계산을 줄이고, 이웃 노드 간 국소 추정치를 교환함으로써 공감대를 형성한다.
• 국소 추정치의 혁신도가 들어오는 데이터에 대해 최소일 경우 전송을 억제하는 두 번째 전략을 제안한다.
• 캐서닝 중 수신도 차단하는 세 번째 전략을 도입하여 통신을 추가로 줄인다.
• 목표 평균 데이터 감소율을 달성하기 위해 혁신도 기반의 단순 임계값 선택 규칙을 유도한다.
• 행렬 페르터베이션과 확률적 근사 도구를 사용해 수렴성을 분석하고, 최적의 해에 평균 루트 편차 기준으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 데이터 적응형 캐서닝은 추정 정확도를 희생시키지 않고도 분산형 RLS의 계산 및 통신 비용을 크게 줄일 수 있는가?
• RQ2 혁신 기반 캐서닝은 완전히 분산된 네트워크 환경에서 효과적으로 적용될 수 있는가?
• RQ3 어떤 임계값 기준이 지정된 평균 데이터 감소율을 확보하면서도 수렴성을 유지하는가?
• RQ4 제안된 세 가지 캐서닝 전략 간 통신 및 계산 절감 효과는 어떻게 비교되는가?
• RQ5 캐서닝 기반 CD-RLS 알고리즘의 수렴성이 평균 루트 편차 기준으로 엄밀히 보장되는가?

주요 결과

• 제안된 CD-RLS 알고리즘은 표준 D-RLS에 비해 계산 및 통신 오버헤드를 크게 줄였다.
• 임계값 선택 기준은 논문에서 지정한 대로 평균 데이터 감소율을 정밀하게 제어할 수 있다.
• 세 가지 캐서닝 전략 모두 평균 루트 편차 기준으로 최적의 해에 수렴함을 증명했다.
• 오차의 수렴 속도는 $ O(1/t) + O(rac{ ext{ln}(t)}{t}) $의 순서이며, 이는 점근적 수렴을 나타낸다.
• 수치 실험을 통해 알고리즘이 자원 사용을 줄이면서도 높은 추정 정확도를 유지함을 검증했다.
• 캐서닝 중 전송과 수신을 모두 차단하는 세 번째 전략이 가장 높은 통신 절감 효과를 보였다.