[논문 리뷰] Correcting for unknown errors in sparse high-dimensional function approximation

Ben Adcock, Anyi Bao외 1명|arXiv (Cornell University)|2017. 11. 21.

Sparse and Compressive Sensing Techniques참고 문헌 66인용 수 6

한 줄 요약

이 논문은 알려지지 않은 오차 하에서 희박한 고차원 함수 근사에 대해 네 가지 가중치가 부여된 $β$-최소화 디코더—이차형 제약 기반 기저 추적, LASSO, 제곱근 LASSO, LAD-LASSO—을 제안하고 분석한다. 이론적 및 수치적 결과를 통해 가중치가 부여된 제곱근 LASSO가 노이즈 수준에 대한 사전 지식이 필요 없이 유사하거나 우수한 복원 성능을 달성함을 보이며, 다른 방법들보다 더 강건하고 실용적임을 입증한다.

ABSTRACT

We consider sparsity-based techniques for the approximation of high-dimensional functions from random pointwise evaluations. To date, almost all the works published in this field contain some a priori assumptions about the error corrupting the samples that are hard to verify in practice. In this paper, we instead focus on the scenario where the error is unknown. We study the performance of four sparsity-promoting optimization problems: weighted quadratically-constrained basis pursuit, weighted LASSO, weighted square-root LASSO, and weighted LAD-LASSO. From the theoretical perspective, we prove uniform recovery guarantees for these decoders, deriving recipes for the optimal choice of the respective tuning parameters. On the numerical side, we compare them in the pure function approximation case and in applications to uncertainty quantification of ODEs and PDEs with random inputs. Our main conclusion is that the lesser-known square-root LASSO is better suited for high-dimensional approximation than the other procedures in the case of bounded noise, since it avoids (both theoretically and numerically) the need for parameter tuning.

연구 동기 및 목표

• 절단, 이산화, 수치 오차가 존재하지만 유계가 아닌 상황에서 고차원 함수 근사 문제에 대한 알려지지 않은 오차의 과제를 다룸.
• 기존 방법들이 오차 한계에 대한 사전 지식이 필요로 하는 한계를 극복함. 이는 실제 응용에서 흔히 실용적이지 않음.
• 알려지지 않은 오차 조건 하에서 네 가지 희박성 촉진 디코더에 대한 이론적 복원 보장을 제공함으로써 강건성과 균일한 성능을 확보함.
• 순수한 함수 근사 및 비결정적 상미분방정식과 편미분방정식의 불확실성 정량화에서 이 디코더들의 수치적 성능을 평가함.
• 실제 적용에서 가중치가 부여된 제곱근 LASSO가 노이즈 수준 조정에 민감하지 않기 때문에 다른 것들보다 뛰어난 성능을 보이며, 이는 통계 분야에서의 주장과 일치함을 입증함.

제안 방법

• 네 가지 가중치가 부여된 $β$-최소화 문제를 수립함: 가중치가 부여된 이차형 제약 기반 기저 추적, 가중치가 부여된 LASSO, 가중치가 부여된 제곱근 LASSO, 가중치가 부여된 LAD-LASSO.
• 샘플링 행렬에 대한 제한된 이소메트리 및 이소메트리 유사 조건을 사용하여 균일하고 강건한 복원 오차 추정치를 유도함.
• 각 디코더에 대한 이론적 튜닝 파rameter 규칙을 제시함. 이 중 제곱근 LASSO는 노이즈 수준에 의존하지 않음.
• 실제 오차 모델을 반영한 합성 함수 및 랜덤 입력을 가진 비결정적 상미분방정식/편미분방정식 문제에 디코더를 적용하여 성능 평가함.
• 수치 실험을 통해 다양한 오차 환경에서 복원 정확도, 안정성, 파rameter 튜닝 민감도를 비교함.
• LAD-LASSO 변형을 분석하여 희박하고 크기가 큰 오염 오차에 강건한 특성을 확보함.

실험 결과

연구 질문

• RQ1 오차 수준이 알려지지 않은 상황에서 희박성 기반 함수 근사에 대해 강건한 복원 보장을 설정할 수 있는가?
• RQ2 알려지지 않은 노이즈 하에서 가중치가 부여된 LASSO, 이차형 제약 기반 기저 추적, 제곱근 LASSO의 성능 및 튜닝 민감도는 어떻게 비교되는가?
• RQ3 통계 분야의 주장처럼 제곱근 LASSO는 노이즈 수준에 대한 지식 없이도 강력한 복원 성능을 유지하는가?
• RQ4 비결정적 편미분방정식에서의 구조적 오차는 희박성 복원 방법의 파rameter 튜닝 필요성에 얼마나 큰 영향을 미치는가?
• RQ5 LAD-LASSO 디코더는 고차원 함수 근사에서 희박하고 크기가 큰 오염 오차를 효과적으로 다룰 수 있는가?

주요 결과

• 가중치가 부여된 제곱근 LASSO는 노이즈 수준에 대한 사전 지식이 필요 없이 균일하고 강건한 복원 보장을 달성함. 이는 이차형 제약 기반 기저 추적 및 표준 LASSO와는 다름.
• 이론적 분석을 통해 네 가지 디코더 모두에 최적의 튜닝 규칙을 제시함. 특히 제곱근 LASSO의 튜닝 파rameter는 알려지지 않은 노이즈 수준에 영향을 받지 않음.
• 합성 함수에 대한 수치 실험 결과, 이론적 튜닝 규칙이 모든 디코더에서 최적의 성능을 이끌어냄을 확인함.
• 비결정적 상미분방정식 및 편미분방정식 문제에서 제곱근 LASSO는 최소한의 튜닝으로도 다른 방법들보다 유사하거나 뛰어난 복원 정확도를 보임.
• LAD-LASSO 디코더는 희박하고 크기가 큰 오염 오차를 다룰 때 가장 효과적이며, 이러한 상황에서 다른 것들보다 뛰어난 성능을 발휘함.
• 연구 결과, 구조적 오차 패tern이 존재하는 실제 문제에서는 신중한 파arameter 튜닝이 항상 필요하지 않음을 밝혀냄. 다만 이 현상의 이론적 설명은 아직 열려 있음.