[논문 리뷰] Minimization of Transformed $L_1$ Penalty: Closed Form Representation and Iterative Thresholding Algorithms

Shuai Zhang, Jack Xin|arXiv (Cornell University)|2014. 12. 17.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 압축 측정에서 희박한 신호 복원을 위한 효율적인 반복 임계값 알고리즘을 가능하게 하는 전환된 $L_1$ (TL1) 펜얼티에 대한 폐쇄형 임계값 표현을 제안한다. TL1 방법은 비일관성과 일관성 있는 측정 행렬 모두에서 뛰어난 강건성과 정확도를 보이며, 특히 적응형 반반복적 방법( TL1IT-s1)을 통해 하드 및 하프-임계값 처리 방법을 능가한다.

ABSTRACT

The transformed $l_1$ penalty (TL1) functions are a one parameter family of bilinear transformations composed with the absolute value function. When acting on vectors, the TL1 penalty interpolates $l_0$ and $l_1$ similar to $l_p$ norm ($p \in (0,1)$). In our companion paper, we showed that TL1 is a robust sparsity promoting penalty in compressed sensing (CS) problems for a broad range of incoherent and coherent sensing matrices. Here we develop an explicit fixed point representation for the TL1 regularized minimization problem. The TL1 thresholding functions are in closed form for all parameter values. In contrast, the $l_p$ thresholding functions ($p \in [0,1]$) are in closed form only for $p=0,1,1/2,2/3$, known as hard, soft, half, and 2/3 thresholding respectively. The TL1 threshold values differ in subcritical (supercritical) parameter regime where the TL1 threshold functions are continuous (discontinuous) similar to soft-thresholding (half-thresholding) functions. We propose TL1 iterative thresholding algorithms and compare them with hard and half thresholding algorithms in CS test problems. For both incoherent and coherent sensing matrices, a proposed TL1 iterative thresholding algorithm with adaptive subcritical and supercritical thresholds consistently performs the best in sparse signal recovery with and without measurement noise.

연구 동기 및 목표

• 모든 매개변수 값에 대해 TL1 임계값 함수의 폐쇄형 표현을 개발하여, $p \in (0,1)$ 인 $L_p$ 펜얼티의 제한된 폐쇄형 해를 초월한다.
• 계산적으로 효율적이고 고차원 압축 측정 문제에 적합한 TL1 기반 반복 임계값 알고리즘을 설계한다.
• 비일관성과 일관성 있는 측정 행렬, 측정 노이즈 유무에 관계없이 희박한 신호 복원에서 TL1 기반 알고리즘의 성능을 평가한다.
• 특히 적응형 매개변수 업데이트를 통해, 다양한 희박성 수준과 측정 조건에서 TL1 임계값 처리의 강건성을 확립한다.
• TL1을 $L_0$, $L_1$, 하프-임계값 처리와 같은 기존의 비볼록 희박성 촉진 펜얼티와 비교하여 복원 정확도와 안정성 측면에서 평가한다.

제안 방법

• 행렬 곱셈과 스칼라 임계값 처리 연산을 사용하여 TL1 정규화 최소화 문제의 고정점 표현을 유도한다.
• 변환 매개변수 $a$의 모든 매개변수 값에 대해 TL1 임계값 함수의 폐쇄형 표현을 수립하며, 임계 이하 및 초과 영역에 대해 별도의 공식을 제공한다.
• 세 가지 반복 임계값 알고리즘을 도입한다: 직접 고정점 알고리즘(DFA), 반적응형(TL1IT-s1), 적응형(TL1IT-s2)으로, 정규화 및 변환 매개변수 업데이트 방식이 다르다.
• 반적응적 방법(TL1IT-s1)을 활용하여 해의 희박성 추정치에 기반해 정규화 매개변수 $\lambda$를 동적으로 조정함으로써 수렴성과 정확도를 향상시킨다.
• 초과 영역에서 임계값 함수를 계산하기 위해 역余弦(삼중각 항등식을 통한)의 세제곱근 공식을 사용하여 해석적 취급 가능성을 확보한다.
• 각 단계에서 행렬-벡터 곱셈과 원소별 임계값 처리를 포함하는 고정점 반복 프레임워크에 임계값 함수를 적용한다.

실험 결과

연구 질문

• RQ1 모든 매개변수 값에 대해 $L_p$ 펜얼티가 특정 $p$ 에서만 폐쇄형이 되는 것과 달리, 전환된 $L_1$ 펜얼티는 폐쇄형 임계값 함수로 표현될 수 있는가?
• RQ2 임계 이하 및 초과 영역에서 매개변수 $a$와 $\lambda$ 에 따라 TL1 임계값 함수의 연속성과 비연속성은 어떻게 다를까?
• RQ3 TL1 기반 반복 임계값 알고리즘이 비일관성 있는(가우시안) 및 일관성 있는(과표본화된 DCT) 측정 행렬에서의 희박한 신호 복원 성능은 어떠한가?
• RQ4 측정 노이즈 조건 하에서 TL1IT-s1 알고리즘이 하드 및 하프-임계값 처리 방법과 비교해 복원 정확도와 강건성 측면에서 어떻게 다른가?
• RQ5 정확한 희박성 수준이 아니라 근사적인 추정치로 대체될 경우, TL1 임계값 함수는 안정성과 정확도를 유지할 수 있는가?

주요 결과

• 변환 매개변수 $a$ 의 모든 값에 대해 TL1 임계값 함수는 폐쇄형으로 표현되며, $p = 0, 1, 1/2, 2/3$ 에서만 폐쇄형인 $L_p$ 펜얼티와는 달리 보다 광범위하게 적용 가능하다.
• TL1 임계값 함수는 임계 이하 영역에서는 연속적 행동(소프트-임계값 처리와 유사)을 보이며, 초과 영역에서는 비연속적 행동(하프-임계값 처리와 유사)을 보이며, 이는 매개변수 $a$ 와 $\lambda$ 에 따라 달라진다.
• 희박성 추정치에 기반해 $\lambda$ 를 적응적으로 업데이트하는 제안된 TL1IT-s1 알고리즘은 비일관성 있는(가우시안) 및 일관성 있는(과표본화된 DCT) 측정 행렬 모두에서 하드 및 하프-임계값 처리 알고리즘을 지속적으로 능가한다.
• 측정 노이즈가 존재하는 조건 하에서도 TL1IT-s1 는 뛰어난 성능 유지를 보이며, 다양한 측정 조건에서 강건함을 입증한다.
• 측정 수가 일정 임계값을 초과하는 한, 정확한 희박성 수준이 근사적인 추정치로 대체되더라도 알고리즘이 안정성을 유지한다.
• TL1 임계값 함수는 편향이 없음, 희박성 유지, 연속성 등의 바람직한 성질을 만족하여 고차원 환경에서의 변수 선택에 적합하다.