[논문 리뷰] ORKA: Accelerated Kaczmarz Algorithms for Signal Recovery from One-Bit Samples

Arian Eamaz, Farhang Yeganegi외 2명|arXiv (Cornell University)|2022. 12. 08.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

ORKA는 시간에 따라 변화하는 임계값을 가진 1비트 샘플에서 신호를 복원하기 위해 가속화된 랜덤화 카츠마르츠 알고리즘을 제안한다. 샘플의 다수성을 활용하여 비볼록 2차 프로그래밍 문제를 선형 타당성 문제로 변환한다. 이로 인해 더 높은 복원 정확도와 빠른 속도를 달성하며, 기존 ℓ¹-최소화 방법에 비해 훨씬 적은 비트 수와 낮은 계산 비용으로도 슈퍼리어한 성능을 발휘한다.

ABSTRACT

One-bit quantization with time-varying sampling thresholds has recently found significant utilization potential in statistical signal processing applications due to its relatively low power consumption and low implementation cost. In addition to such advantages, an attractive feature of one-bit analog-to-digital converters (ADCs) is their superior sampling rates as compared to their conventional multi-bit counterparts. This characteristic endows one-bit signal processing frameworks with what we refer to as sample abundance. On the other hand, many signal recovery and optimization problems are formulated as (possibly non-convex) quadratic programs with linear feasibility constraints in the one-bit sampling regime. We demonstrate, with a particular focus on the nuclear norm minimization, that the sample abundance paradigm allows for the transformation of such quadratic problems to merely a linear feasibility problem by forming a large-scale overdetermined linear system; thus removing the need for costly optimization constraints and objectives. To make this achievable, we propose enhanced randomized Kaczmarz algorithms to tackle these highly overdetermined feasibility problems. Several numerical results are presented to illustrate the effectiveness of the proposed methodologies.

연구 동기 및 목표

• 고속 샘플링과 저전력 소비를 제공하는 시간에 따라 변화하는 임계값을 가진 1비트 샘플에서의 신호 복원 문제를 해결하기 위해.
• 1비트 샘플링에서의 샘플 다수성을 활용하여 복잡한 최적화 문제를 선형 타당성 문제로 변환함으로써 높은 비용이 드는 목적 함수와 제약 조건을 피하기 위해.
• 1비트 측정에서 발생하는 대규모 과잉정의 선형 시스템을 효율적으로 해결하기 위한 가속화된 카츠마르츠 알고리즘을 개발하기 위해.
• 적응형 임계값과 향상된 수렴 특성을 활용하여 저질서 행렬 복원 및 압축 감지에서 복원 성능을 향상시키기 위해.
• 기존의 ℓ¹-최소화 방법에 비해 훨씬 적은 비트 수로 near-optimal 복원 성능을 달성하면서도 더 낮은 계산 비용을 제공할 수 있음을 입증하기 위해.

제안 방법

• ORKA는 시간에 따라 변화하는 다수의 임계값에서 유도된 샘플의 다수성을 활용하여 비볼록 2차 프로그래밍 문제를 과잉정의 선형 시스템으로 변환함으로써 신호 복원 문제를 선형 타당성 문제로 재구성한다.
• 빠른 수렴을 위해 고안된 두 가지 향상된 랜덤화 카츠마르츠 알고리즘—PrSKM과 블록 SKM—을 적용한다.
• 알고리즘은 1비트 측정치로 정의된 초평면 위로 반복적으로 투영하며, 수렴성과 정확도 향상을 위해 적응형 임계값 선택 전략을 사용한다.
• 다양한 임계값 시퀀스에서 유도된 부호 제약 조건이 형성하는 1비트 다면체의 기하학적 구조를 활용하여 해의 정의역을 제한한다.
• 최대우도 추정 프레임워크를 사용해 우도 함수를 유도하고, 이를 ℓ¹-정규화를 적용한 볼록 문제로 단순화한다.
• 이론적 분석을 통해 ORKA는 표준 카츠마르츠 방법 대비 향상된 수렴 속도를 확보하며 전역 수렴을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 임계값을 가진 1비트 샘플링에서의 샘플 다수성을 활용하여 고비용 최적화 목적 함수와 제약 조건을 제거할 수 있는가?
• RQ2 1비트 측정에서 유도된 대규모 선형 타당성 문제를 효율적으로 해결하기 위해 랜덤화 카츠마르츠 방법을 어떻게 가속화할 수 있는가?
• RQ3 압축 감지 및 저질서 복원에서 ORKA는 기존 ℓ¹-최소화 방법에 비해 정확도 및 계산 비용 측면에서 어떤 성능 향상을 보이는가?
• RQ4 적응형 임계값 선택 전략은 1비트 샘플링 프레임워크에서 신호 복원 성능을 어떻게 향상시키는가?
• RQ5 기존의 다비트 ADC에 비해 훨씬 적은 비트 수로 ORKA는 near-optimal 복원 성능을 달성할 수 있는가?

주요 결과

• ORKA는 오직 500비트로도 정규화된 평균 제곱 오차(NMSE) 3.2052×10⁻¹²를 달성하며, 이는 ℓ¹-최소화 방법이 6400비트(64비트 해상도의 100개 샘플)를 소비해야만 유사한 NMSE 2.4572×10⁻¹¹을 달성할 수 있음을 고려할 때 뛰어난 성능을 보인다.
• ORKA의 CPU 시간은 3.1240×10⁻⁴초로, ℓ¹-최소화 방법이 요구하는 0.0071초보다 훨씬 낮아 계산 효율성이 뛰어나다는 것을 입증한다.
• 시간에 따라 변화하는 임계값 시퀀스의 수를 10개에서 60개로 증가시킬수록 복원 성능이 향상되며, 샘플 수가 증가할수록 NMSE가 감소한다.
• 고차원 신호(n=128)에 대해서도 ORKA는 적응형 임계값 선택 전략을 통해 희박성 수준 k=20 및 k=40에서 NMSE 3.2052×10⁻¹²를 달성하여 다양한 신호 모델에 대한 강건성을 입증한다.
• PrSKM과 블록 SKM를 통한 수렴 가속화 덕분에 ORKA는 표준 카츠마르츠 방법보다 더 빠른 수렴 속도로 1비트 다면체의 전역 해를 효율적으로 확보한다.
• 이 방법은 핵노름 최소화 문제와 압축 감지 문제를 모두 선형 타당성 문제로 변환하여 목적 함수의 반복 최적화가 필요 없도록 한다.