[논문 리뷰] Distributed Least-Squares Iterative Methods in Networks: A Survey

Lei Shi, Liang Zhao외 4명|arXiv (Cornell University)|2017. 06. 21.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 6

한 줄 요약

이 종합적 서베이는 대규모 네트워크를 위한 분산 최소 제곱 반복 방법에 대한 포괄적인 분석을 제시하며, D-RLS, 공액 그래디언트, 공감 기반 전략과 같은 반복 알고리즘에 중점을 둔다. 메시 네트워크에서의 통신 비용과 완료까지의 시간을 평가하여, 분산 사이버-물리 시스템을 위한 이러한 방법들 간의 첫 번째 체계적 비교를 제공한다.

ABSTRACT

Many science and engineering applications involve solving a linear least-squares system formed from some field measurements. In the distributed cyber-physical systems (CPS), often each sensor node used for measurement only knows partial independent rows of the least-squares system. To compute the least-squares solution they need to gather all these measurement at a centralized location and then compute the solution. These data collection and computation are inefficient because of bandwidth and time constraints and sometimes are infeasible because of data privacy concerns. Thus distributed computations are strongly preferred or demanded in many of the real world applications e.g.: smart-grid, target tracking etc. To compute least squares for the large sparse system of linear equation iterative methods are natural candidates and there are a lot of studies regarding this, however, most of them are related to the efficiency of centralized/parallel computations while and only a few are explicitly about distributed computation or have the potential to apply in distributed networks. This paper surveys the representative iterative methods from several research communities. Some of them were not originally designed for this need, so we slightly modified them to suit our requirement and maintain the consistency. In this survey, we sketch the skeleton of the algorithm first and then analyze its time-to-completion and communication cost. To our best knowledge, this is the first survey of distributed least-squares in distributed networks.

연구 동기 및 목표

• 대역폭, 지연, 데이터 기밀성 제약으로 인해 대규모 사이버-물리 시스템(CPS)에서 중심 집중식 최소 제곱 계산이 비효율적이고 비가능한 이유를 해결한다.
• RLS, 공액 그래디언트, 공감/확산 전략과 같은 대표적인 반복 방법을 식별하고, 메시 네트워크에서의 분산 계산에 적응시킨다.
• 실시간 및 자원 제약이 있는 네트워크에서 중요한 통신 비용과 완료까지의 시간 측면에서 이러한 분산 알고리즘의 성능을 평가한다.
• 수렴 속도, 통신 오버헤드, 네트워크 장애에 대한 내성 간의 상충 관계를 부각하며, 분산 반복 해법을 비교하기 위한 통합 프레임워크를 제공한다.

제안 방법

• 순차적 경로를 통해 노드를 거쳐 각 노드가 자신의 로컬 데이터 블록을 처리하고 상태 변수를 다음 노드로 전달하는 방식으로 Recursive Least-Squares(RLS) 알고리즘을 분산 형태(D-RLS)로 변형한다.
• 노드 간의 해 추정치와 역상관 행렬의 순차적 갱신을 가능하게 하기 위해 해밀토니안 경로 탐색을 사용하며, 각 반복에서 통신을 한 번의 홉으로 최소화한다.
• 각 노드가 행렬 A와 벡터 b의 행 부분집합을 보유하고, 전체 데이터 집합을 통합하지 않고도 반복적으로 전역 해를 계산하는 방식으로 시스템을 분할된 선형 최소 제곱 문제로 모델링한다.
• 통신 비용을 (n + n²)(N−1)로 모델링하며, 여기서 n은 해의 차원이고 N은 노드 수이며, 상태 벡터와 공분산 행렬의 전송 기반으로 한다.
• 완료까지의 시간을 (n + n²)(N−1)로 평가하며, 각 반복에서 각 노드가 한 번의 통신 단계를 수행한다고 가정하고, 단일 네트워크 사이클 후 수렴이 이루어진다.
• 전통적인 반복 방법(예: 공액 그래디언트)과 공감 및 확산 기반 전략을 비교하며, 분산 환경에서 국부적 통신 대비 전역 플러딩의 특성을 강조한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 데이터 수집 없이 대규모 분산 네트워크에서 최소 제곱 해를 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ2 메시 네트워크에서 D-RLS, 공액 그래디언트, 공감 기반 알고리즘과 같은 분산 반복 방법의 통신 비용과 완료까지의 시간은 어떻게 되는가?
• RQ3 수렴 속도와 통신 오버헤드 측면에서 분산 반복 해법의 성능 특성은 어떻게 비교되는가?
• RQ4 전체 플러딩을 요구하는 전통적인 반복 방법과 국부적 통신에 의존하는 공감/확산 전략 간의 상충 관계는 무엇인가?
• RQ5 특히 스마트 그라이드와 같은 실시간 응용 분야에서, 이러한 분산 알고리즘이 데이터 손실에 얼마나 견딜 수 있는가?

주요 결과

• D-RLS 알고리즘은 단일 네트워크 사이클 내에서 수렴하며, 총 통신 비용은 (n + n²)(N−1)이다. 여기서 n은 해의 차원이고 N은 노드 수이다.
• D-RLS의 완료까지의 시간은 (n + n²)(N−1)이며, 이는 상태 변수가 노드 간 순차적으로 전파되는 데 의해 지배된다.
• 공감 및 확산 기반 전략은 국부적 통신만을 요구하여, 전통적인 반복 방법에 비해 네트워크 전반의 플러딩을 줄인다.
• 대규모 네트워크에서는 공감 및 확산 방법이 중심 집중식 또는 순차적 방법보다 더 많은 반복 수를 요구할 수 있지만, 더 나은 확장성과 장애 내성 확보를 제공한다.
• 이 서베이는 데이터 손실 내성 문제를 중요한 열린 과제로 규명하였으며, 스마트 그라이드와 같은 실시간 시스템에서는 재전송이 종종 비가능하기 때문이다.
• 이 연구는 메시 네트워크에서 통신 비용과 완료까지의 시간 측면에서 분산 최소 제곱 반복 방법을 종합적으로 비교한 첫 번째 종합적 서베이이다.