[논문 리뷰] OEM for least squares problems

Shifeng Xiong, Bin Dai외 1명|arXiv (Cornell University)|2011. 07. 31.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 일반 최소제곱 및 lasso, SCAD, MCP와 같은 페널티를 포함한 정규화된 최소제곱 문제를 해결하기 위해 직교화 기반 EM(OEM) 알고리즘을 제안한다. 반복적으로 설계 행렬을 직교화하고 누락된 반응값을 보간함으로써 OEM은 특이 행렬에 대해 Moore-Penrose 추정기로 수렴하며, 비볼록 페널티에 대해 오라클 성질을 달성하며, 정규화된 문제에서 더 빠른 수렴 속도를 보인다.

ABSTRACT

We propose an algorithm, called OEM (a.k.a. orthogonalizing EM), intended for var- ious least squares problems. The first step, named active orthogonization, orthogonalizes an arbi- trary regression matrix by elaborately adding more rows. The second step imputes the responses of the new rows. The third step solves the least squares problem of interest for the complete orthog- onal design. The second and third steps have simple closed forms, and iterate until convergence. The algorithm works for ordinary least squares and regularized least squares with the lasso, SCAD, MCP and other penalties. It has several attractive theoretical properties. For the ordinary least squares with a singular regression matrix, an OEM sequence converges to the Moore-Penrose gen- eralized inverse-based least squares estimator. For the SCAD and MCP, an OEM sequence can achieve the oracle property after sufficient iterations for a fixed or diverging number of variables. For ordinary and regularized least squares with various penalties, an OEM sequence converges to a point having grouping coherence for fully aliased regression matrices. Convergence and convergence rate of the algorithm are examined. These convergence rate results show that for the same data set, OEM converges faster for regularized least squares than ordinary least squares. This provides a new theoretical comparison between these methods. Numerical examples are provided to illustrate the proposed algorithm.

연구 동기 및 목표

• 임의의 설계 행렬을 가진 일반 최소제곱 및 정규화된 최소제곱 문제를 통합적으로 해결할 수 있는 알고리즘을 개발하기 위해.
• 기존 방법들이 설계 행렬이 사전에 지정된 직교 행렬에 포함될 수 있어야 한다는 제약 조건을 극복하기 위해.
• 일반 및 정규화된 설정 모두에서 수렴성과 수렴 속도에 대한 이론적 보장을 수립하기 위해.
• SCAD 및 MCP와 같은 비볼록 페널티에 대해 OEM이 오라클 성질을 달성하고, 일치하는 변수들에 대해 그룹화 일致성을 보장함을 증명하기 위해.
• 동일한 데이터 조건 하에서 정규화된 최소제곱 문제의 수렴 속도가 일반 최소제곱 문제보다 더 빠른지를 보여주는 새로운 이론적 비교를 제공하기 위해.

제안 방법

• OEM 알고리즘은 임의의 회귀 행렬에 행을 추가하여 완전한 직교 설계를 형성함으로써 활성 직교화를 수행한다.
• 각 반복 단계에서 알고리즘은 현재 계수 벡터 추정치를 사용하여 새로 추가된 행에 대한 누락된 반응값을 보간한다.
• 업데이트된 반응 벡터와 직교 설계 행렬을 사용하여 행렬 역행렬 계산 없이 최소제곱 문제를 닫힌 형태로 해결한다.
• 정규화된 문제의 경우, 알고리즘은 lasso, SCAD, MCP와 같은 페널티를 최적화 단계에 통합하여 닫힌 형태의 업데이트를 유지한다.
• 알고리즘은 보간 단계와 추정 단계를 번갈아 수행하며, 약한 정규성 조건 하에서 안정된 점으로 수렴한다.
• 이론적 분석은 마팅게일 및 농도 불등식을 사용하여 수렴성과 수렴 속도의 경계를 확립하며, 특히 고차원 설정에서 유용하다.

실험 결과

연구 질문

• RQ1 사전에 지정된 직교성 조건이 필요 없이 임의의 설계 행렬에 대해 최소제곱 문제를 해결할 수 있는 알고리즘을 개발할 수 있는가?
• RQ2 설계 행렬이 랭크 결손일 경우 OEM 알고리즘이 Moore-Penrose 일반화 역행렬 기반 추정기로 수렴하는가?
• RQ3 고차원 설정에서 SCAD 및 MCP 페널티에 대해 OEM이 오라클 성질을 달성할 수 있는가?
• RQ4 Lasso, SCAD, MCP에 대해 OEM이 완전히 일치하는 예측 변수들에 대해 동일한 계수를 부여함으로써 그룹화 일치성을 보장하는가?
• RQ5 동일한 데이터 조건 하에서 왜 OEM은 정규화된 최소제곱 문제에서 일반 최소제곱 문제보다 더 빠르게 수렴하는가?

주요 결과

• 특이 행렬을 가진 일반 최소제곱 문제에서는 OEM 수렴 수열이 Moore-Penrose 일반화 역행렬 기반 최소제곱 추정기로 수렴한다.
• SCAD 및 MCP 페널티의 경우, 충분한 반복 후 OEM 수렴 수열은 변수 수가 발산하더라도 오라클 성질을 달성한다.
• OEM 알고리즘은 완전히 일치하는 열들에 대해 그룹화 일치성을 보장하여, 이러한 변수들이 함께 선택되거나 함께 제외됨을 보장한다.
• 정규화된 최소제곱 문제에 대해 OEM의 수렴 속도는 일반 최소제곱 문제보다 더 빠르며, 이러한 방법 간 비교에 대한 새로운 이론적 근거를 제공한다.
• 이론적 경계는 적절한 정규성 조건 하에서 표본 크기와 신호 강도가 증가할수록 올바른 변수 선택 확률이 지수적으로 증가함을 보여준다.
• 알고리즘은 고차원 설정에 대해 강건하며, 오차와 설계 행렬의 구조에 대해 약한 가정 하에서 표본 크기가 증가함에 따라 수렴 확률이 1에 수렴한다.