[논문 리뷰] Sparse Estimation with Strongly Correlated Variables using Ordered Weighted L1 Regularization

Mário A. T. Figueiredo, Robert D. Nowak|arXiv (Cornell University)|2014. 09. 14.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 18

한 줄 요약

이 논문은 강하게 상관된 변수를 가진 고차원 회귀에서 희박 추정을 위한 순서화된 가중 ℓ₁ (OWL) 정규화를 제안한다. 더 큰 계수 크기를 더 강하게 페널티 처리하는 순서화된 가중치를 활용함으로써, OWL은 자동으로 상관된 변수들을 클러스터링—즉, 추정된 계수들이 동일해지도록 하며, 최적의 표본 복잡도를 유지한다: O(s log p)개의 표본만으로도 s-희박 신호를 복원할 수 있으며, 클러스터 크기에 관계없이 동일하게 성능을 보인다. 이는 독립적인 설계에서의 성능에 맞춘다.

ABSTRACT

This paper studies ordered weighted L1 (OWL) norm regularization for sparse estimation problems with strongly correlated variables. We prove sufficient conditions for clustering based on the correlation/colinearity of variables using the OWL norm, of which the so-called OSCAR is a particular case. Our results extend previous ones for OSCAR in several ways: for the squared error loss, our conditions hold for the more general OWL norm and under weaker assumptions; we also establish clustering conditions for the absolute error loss, which is, as far as we know, a novel result. Furthermore, we characterize the statistical performance of OWL norm regularization for generative models in which certain clusters of regression variables are strongly (even perfectly) correlated, but variables in different clusters are uncorrelated. We show that if the true p-dimensional signal generating the data involves only s of the clusters, then O(s log p) samples suffice to accurately estimate the signal, regardless of the number of coefficients within the clusters. The estimation of s-sparse signals with completely independent variables requires just as many measurements. In other words, using the OWL we pay no price (in terms of the number of measurements) for the presence of strongly correlated variables.

연구 동기 및 목표

• 예측 변수가 강하게 상관되어 있을 때 표준 정규화 방법이 성능을 떨어뜨리는 문제를 다루는 것.
• 강한 상관관계를 가진 변수들을 자동으로 클러스터링하고, 동일한 추정 계수를 가지도록 하는 정규화 프레임워크를 개발하는 것.
• 제곱 오차 손실 및 절대 오차 손실 함수 모두에 대해 OWL 정규화의 이론적 보장을 수립하는 것.
• 클러스터링된 강한 상관관계를 가진 변수를 가진 생성 모델에서 OWL의 통계적 성능을 표본 복잡도 측면에서 특성화하는 것.
• 기존 방법들과 달리 강한 상관관계가 존재하더라도 추가 측정 비용 없이 표본 요구량에 영향을 주지 않는다는 것을 보여주는 것.

제안 방법

• |x|_[i]를 x의 i번째로 큰 크기로 정의하고, 비감소하는 가중치 w_i를 사용하여 OWL 정규화를 Ω_w(x) = ∑ w_i |x|_[i]로 수식화한다.
• 제곱 오차 손실과 절대 오차 손실을 각각 사용하는 두 최적화 문제에 OWL 노름을 정규화 요소로 적용한다.
• 강한 상관관계를 가진 변수들에 대해 계수의 클러스터링을 유도하는 충분조건을 증명하며, 이는 OSCAR 방법을 일반화한다.
• 가우시안 과정과 라데마처 복잡도 기법을 사용하여 유한 표본 오차 경계를 수립하며, OWL 노름 구의 너비에 중점을 둔다.
• 변수가 완전하거나 강한 상관관계를 가진 클러스터로 그룹화된 생성 모델에서 통계적 성능을 분석한다.
• 최소한의 가정 하에 정확한 신호 복원을 위한 표본 복잡도 경계 O(s log p)를 유도한다. 이는 클러스터 크기에 영향을 받지 않는다.

실험 결과

연구 질문

• RQ1 설계 행렬에서 강한 상관관계를 가진 변수들에 대해 OWL 정규화가 계수의 클러스터링을 유도하는 조건은 무엇인가?
• RQ2 절대 오차 손실 하에서 OWL은 어떻게 작동하며, 이 설정에서 OSCAR의 클러스터링 성질을 일반화하는가?
• RQ3 변수가 강한 상관관계로 클러스터링된 경우, s-희박 신호를 복원하기 위해 OWL 정규화의 표본 복잡도는 얼마인가?
• RQ4 일부 설계 행렬의 열이 완전히 상관관계가 있을 경우에도 OWL 정규화는 최적의 표본 복잡도를 유지하는가?
• RQ5 상관관계가 있는 예측 변수가 존재하더라도, OWL은 추가 측정 비용 없이 표준 LASSO와 동일한 표본 복잡도를 달성할 수 있는가?

주요 결과

• 제곱 오차 손실과 절대 오차 손실 모두에서 OWL 정규화는 강한 상관관계를 가진 변수들에 대해 계수 추정의 클러스터링을 유도하며, 이는 이전의 OSCAR 결과를 일반화하고 강화한다.
• 절대 오차 손실의 경우, 저자들에 따르면 처음으로 제시된 새로운 클러스터링 조건을 수립한다.
• 완전히 상관된 변수들로 이루어진 s개의 클러스터와 상관관계가 없는 클러스터를 가진 생성 모델에서, O(s log p)개의 표본만으로도 높은 확률로 진짜 신호를 복원할 수 있다.
• OWL의 표본 복잡도는 i.i.d. 설계 또는 제한된 조화성 성질을 만족하는 설계에서의 표준 희박 복원 성능과 동일하여, 상관관계로 인한 추가 측정이 필요하지 않음을 의미한다.
• 가우시안 설계 하에서 추정 오차는 O(√(s log p)/n)로 유계이며, 이 경계는 클러스터 내 계수의 수에 영향을 받지 않고 s와 p에만 의존한다.
• 이론적 분석은 Minkowski 함수형이 OWL 노름 구의 볼륨을 제어하며, 이 볼륨의 너비는 가우시안 과정과 라데마처 복잡도 도구를 사용하여 유계임을 보여준다.