[논문 리뷰] Bias Reduction in Compressed Sensing

Carl Olsson, Marcus Carlsson외 1명|arXiv (Cornell University)|2018. 12. 29.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 3

한 줄 요약

이 논문은 이차 포식을 통해 비볼록 스parser 및 저질서 페널티를 볼록 ℓ1- 및 노이즈-노름 정규화와 조합하여 압축 감지에서 편향을 줄이는 새로운 프레임워크를 제안한다. 이 방법은 최적화 안정성이 향상된 비편향 추정을 달성하며, 특히 비유선성 구조-운동 복원 및 노이즈와 불안정한 조건에서의 점군 정렬과 같은 실제 컴퓨터 비전 작업에서 표준 ℓ1 및 노이즈-노름 이완보다 뛰어난 성능을 보인다.

ABSTRACT

Sparsity and rank functions are important ways of regularizing under-determined linear systems. Optimization of the resulting formulations is made difficult since both these penalties are non-convex and discontinuous. The most common remedy is to instead use the $\ell^1$- and nuclear-norms. While these are convex and can therefore be reliably optimized they suffer from a shrinking bias that degrades the solution quality in the presence of noise. In this paper we combine recently developed bias free non-convex alternatives with the nuclear- and $\ell^1-$penalties. This reduces bias and still enables reliable optimization properties. We develop an efficient minimization scheme using derived proximal operators and evaluate the method on several real and synthetic computer vision applications with promising results.

연구 동기 및 목표

• . 압축 감지에서 ℓ1 및 노이즈-노름 이완에 내재된 수축 편향을 해결하기 위해.
• . 제한된 이소메트리 유사 조건 하에서 전역 수렴 보장을 유지하면서도 비볼록, 편향 없는 정규화 프레임워크를 개발하기 위해.
• . 비볼록 페널티와 볼록 정규화 항을 조합하여 악조건 문제에서의 최적화 안정성을 향상시키기 위해.
• . 비유선성 구조-운동 복원 및 점집합 정렬을 포함한 실제 및 시뮬레이션 컴퓨터 비전 작업에서 방법을 평가하기 위해.
• . 제안된 공식화가 표준 ℓ1 및 노이즈-노름 이완보다 더 높은 재구성 정확도와 강인성을 달성하는지 입증하기 위해.

제안 방법

• . 이차 포식 Q2(f)를 사용하여 µ∥x∥0 + λ∥x∥1의 병합 페널티의 비볼록 이완을 구성함으로써, ℓ1만 사용하는 것보다 더 나은 편향 제어를 보장한다.
• . 랭크와 노이즈-노름 케이스에도 동일한 원리를 적용: Q2(µrank(X) + λ∥X∥∗), 이는 비편향 저질서 추정을 가능하게 한다.
• . 첫 번째 순서 최적화 방법을 사용할 수 있도록 새로운 페널티 항에 대한 효율적인 프록시멀 연산자를 유도한다.
• . 강력한 RLIP 조건 하에서 전역 최소화점으로의 수렴이 보장되는 반복 최소화 방법을 사용하여 결과 비볼록 문제를 해결한다.
• . 하이브리드 정규화 전략을 활용: 비볼록 스퍼스리티/랭크 페널티로 편향 감소와 볼록 ℓ1/노이즈-노름으로 수렴 영역 향상.
• . 실험에서 편향과 안정성의 균형을 맞추기 위해 λ=5를 고정하고, µ는 스퍼스리티와 랭크를 제어하기 위해 변화시킨다.

실험 결과

연구 질문

• RQ1 . 비볼록 스퍼스리티/랭크 페널티와 볼록 ℓ1/노이즈-노름을 조합한 하이브리드 정규화 접근법이 압축 감지에서 추정 편향을 줄일 수 있는가?
• RQ2 . 제안된 방법은 제한된 이소메트리 유사 조건 하에서도 전역 최적성 보장을 유지하면서 노이즈 및 악조건에 대한 강인성을 향상시키는가?
• RQ3 . 실무에서 비볼록 공식화에 약한 ℓ1 또는 노이즈-노름 페널티를 포함시키면 수렴 영역에 어떤 영향을 미치는가?
• RQ4 . 비유선성 구조-운동 복원에서, 제안된 방법이 고랭크 조건에서 ℓ1 및 노이즈-노름 이완보다 더 높은 재구성 정확도를 달성하는가?
• RQ5 . 점군 정렬에서, 방법이 표준 ℓ1 및 노이즈-노름 공식화보다 더 적은 이상치를 생성하고 더 나은 인라이너 추정을 제공하는가?

주요 결과

• . 제안된 방법(48)은 비유선성 구조-운동 복원에서 ℓ1-노름(2)과 순수 비볼록 랭크 페널티(47)를 모두 뛰어넘어 더 나은 데이터 피팅과 더 낮은 진짜값과의 거리를 달성한다.
• . µ의 낮은 값(고랭크)에서, 노이즈-노름 이완(49)은 수축 편향으로 인해 더 큰 재구성 오차를 보이며, 좋은 데이터 피팅에도 불구하고 그렇다.
• . 하이브리드 공식화(48)는 µ 값의 넓은 범위에서 안정된 성능을 유지하며, 고랭크에서 (47)에서 관찰된 불안정성을 피한다.
• . 점군 정렬에서 (14)는 (5)와 (2)보다 더 적은 이상치를 생성하고 더 나은 인라이너 추정을 제공한다. 특히 다수의 강력한 가설이 존재할 경우에 특히 그렇다.
• . 합성 및 실제 실험 모두에서 뛰어난 성능을 달성하며, 악조건 상황에서의 강인성과 정확도 향상을 입증한다.
• . 약한 λ∥X∥∗ 항의 추가는 최적화 과정을 안정화시키며, 유의미한 편향을 유발하지 않아 RLIP 조건이 약할 때에도 신뢰할 수 있는 복원을 가능하게 한다.