[논문 리뷰] Distributed Approximate Message Passing for Compressed Sensing

Puxiao Han, Ruixin Niu외 1명|arXiv (Cornell University)|2014. 04. 14.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 신호의 희박성과 전역 감지 행렬을 사전에 알지 못하는 센서 네트워크에서 압축 감지에 대해 분산 근사 메시지 전달(DAMP)을 제안하며, 상호 센서 간 통신을 최소화하기 위해 새로운 전역 계산을 위한 AMP(GCAMP) 알고리즘을 도입한다. GCAMP는 분산 시스템이 중심 집합된 AMP와 동일한 복원 성능를 달성하면서도 수정된 임계값 알고리즘 대비 최대 60%까지 통신 비용을 절감한다.

ABSTRACT

In this paper, an efficient distributed approach for implementing the approximate message passing (AMP) algorithm, named distributed AMP (DAMP), is developed for compressed sensing (CS) recovery in sensor networks with the sparsity K unknown. In the proposed DAMP, distributed sensors do not have to use or know the entire global sensing matrix, and the burden of computation and storage for each sensor is reduced. To reduce communications among the sensors, a new data query algorithm, called global computation for AMP (GCAMP), is proposed. The proposed GCAMP based DAMP approach has exactly the same recovery solution as the centralized AMP algorithm, which is proved theoretically in the paper. The performance of the DAMP approach is evaluated in terms of the communication cost saved by using GCAMP. For comparison purpose, thresholding algorithm (TA), a well known distributed Top-K algorithm, is modified so that it also leads to the same recovery solution as the centralized AMP. Numerical results demonstrate that the GCAMP based DAMP outperforms the Modified TA based DAMP, and reduces the communication cost significantly.

연구 동기 및 목표

• 신호의 희박성 또는 전역 감지 행렬에 대한 사전 지식이 없는 분산 압축 감지 알고리즘을 개발하는 것.
• 반복적 신호 복원 과정에서 센서 네트워크의 통신 오버헤드를 줄이는 것.
• 중앙 집합된 AMP와 동등한 성능를 유지하면서도 메시지 교환을 최소화하는 전역 계산 방법을 설계하는 것.
• 제안된 방법의 통신 효율성을 수정된 임계값 알고리즘과 비교하여 평가하는 것.

제안 방법

• 각 센서가 자신의 국지적 감지 행렬을 사용하여 국지적 계산을 수행하고, 메시지 전달을 통해 반복적으로 추정치를 업데이트하는 분산 AMP(DAMP)를 제안한다.
• 국지적 결과를 효율적으로 집계하여 상호 센서 간 메시지 트래픽을 줄이는 새로운 알고리즘인 전역 계산을 위한 AMP(GCAMP)를 도입한다.
• 국지적 계산과 전역 계산을 분리하기 위해 중간 행렬 $ W_t $ 를 사용하여 AMP 업데이트 규칙의 분산 구현을 가능하게 한다.
• 노이즈 분산과 반복 횟수에 기반한 적응형 임계값을 가지는 소프트 임계값 처리 연산자 $ \eta_t $ 를 적용한다.
• 희박성에 대한 사전 지식 없이 최적 성능에 근접하기 위해 $ \tau $ 파라미터에 대한 튜닝 절차를 적용한다.
• 정확한 비교를 위해 중심 집합된 AMP와 동등한 성능를 가지도록 수정된 임계값 알고리즘(TA)을 수정한 변형으로 변환한다.

실험 결과

연구 질문

• RQ1 전역 감지 행렬에 대한 지식이 없이도 중심 집합된 AMP와 동일한 복원 성능를 달성할 수 있는 분산 AMP 알고리즘을 설계할 수 있는가?
• RQ2 분산 압축 감지에서 솔루션 정확도를 유지하면서도 통신 비용을 크게 줄일 수 있는가?
• RQ3 제안된 GCAMP 알고리즘이 메시지 감소 및 수렴 효율성 측면에서 수정된 임계값 알고리즘과 비교해 어떻게 성능를 발휘하는가?
• RQ4 신호의 희박성, 노이즈 수준 및 센서 수의 변화가 통신 효율성에 어떤 영향을 미치는가?

주요 결과

• GCAMP 기반의 DAMP는 논문에서 이론적으로 증명된 lin에 따라 중심 집합된 AMP와 동일한 복원 솔루션을 달성한다.
• 모든 시험 환경에서 GCAMP는 수정된 TA 기준으로 통신 비용을 22.7%에서 48.2%까지 절감하였다.
• 모든 반복 과정에서 GCAMP는 $ N(P-1) $ 메시지의 91% 미만을 사용하였으며, 95% 이상의 반복에서 메시지의 40%에서 80%만을 사용하였다.
• 수치적 결과는 GCAMP가 수정된 TA를 일관되게 능가함을 보여주었으며, GCAMP의 $ \bar{\mu}_M $ 값은 0.518에서 0.773 사이였고, 수정된 TA는 0.941에서 1.110 사이였다.
• 저노이즈 및 저희박성 환경에서 통신 비용 절감 효과가 가장 두드러졌으며, GCAMP는 센서 수가 다양할 경우(5에서 50까지)에도 효율성을 유지하였다.
• 메시지 사용의 누적 분포 분석 결과, GCAMP는 높은 확률로 낮은 메시지 부하를 유지함으로써 강건성과 확장성을 보였다.