[논문 리뷰] Linearly-involved Moreau-Enhanced-over-Subspace Model: Debiased Sparse Modeling and Stable Outlier-Robust Regression

Masahiro Yukawa, Hiroyuki Kaneko외 2명|arXiv (Cornell University)|2022. 01. 10.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 더러움이 없는 희소 모델링과 안정적인 이상치 내성 회귀를 통합한 프레임워크인 선형으로 관련된 모어-강화된 하위공간 모델(LiMES)을 제안한다. 이는 모어-강화된 페널티와 하위공간 투영, 내성 손실 함수를 조합함으로써 이루어지며, 과소정의된 희소 복원과 내성 회귀에서 기존 방법들인 LAD, 허버 손실, RPGG보다 뛰어난 성능을 발휘한다. 특히 고노이즈 및 희소 이상치 조건에서 두각을 나타낸다.

ABSTRACT

We present an efficient mathematical framework based on the linearly-involved Moreau-enhanced-over-subspace (LiMES) model. Two concrete applications are considered: sparse modeling and robust regression. The popular minimax concave (MC) penalty for sparse modeling subtracts, from the $\ell_1$ norm, its Moreau envelope, inducing nearly unbiased estimates and thus yielding remarkable performance enhancements. To extend it to underdetermined linear systems, we propose the projective minimax concave penalty using the projection onto the input subspace, where the Moreau-enhancement effect is restricted to the subspace for preserving the overall convexity. We also present a novel concept of stable outlier-robust regression which distinguishes noise and outlier explicitly. The LiMES model encompasses those two specific examples as well as two other applications: stable principal component pursuit and robust classification. The LiMES function involved in the model is an ``additively nonseparable'' weakly convex function but is defined with the Moreau envelope returning the minimum of a ``separable'' convex function. This mixed nature of separability and nonseparability allows an application of the LiMES model to the underdetermined case with an efficient algorithmic implementation. Two linear/affine operators play key roles in the model: one corresponds to the projection mentioned above and the other takes care of robust regression/classification. A necessary and sufficient condition for convexity of the smooth part of the objective function is studied. Numerical examples show the efficacy of LiMES in applications to sparse modeling and robust regression.

연구 동기 및 목표

• 희소 모델링과 회귀에서 희소성과 내성성을 향상시키기 위한 통합 프레임워크를 개발하는 것.
• 입력 하위공간에서의 모어-강화를 통한 최대 최소 볼록(МС) 페널티의 확장으로, 과소정의 시스템에서의 희소 추정의 편향 문제를 해결하는 것.
• 기본적으로 고가우시안 노이즈와 희소 이상치를 명시적으로 구분함으로써, 두 가지가 동시에 존재하는 상황에서도 안정적인 회귀를 가능하게 하는 것.
• LiMES 모델에서 목적 함수의 부드러운 부분의 볼록성 조건을 설정하는 것.
• 희소 복원, 내성 회귀, 안정적인 주성분 추적, 내성 분류 등 다양한 문제에 대해 LiMES 모델의 유효성을 입증하는 것.

제안 방법

• 입력 하위공간에 신호를 투영한 결과에 대해 ℓ₁ 노름의 모어 엔velope를 적용하는 프로젝션 최대 최소 볼록(PMC) 페널티를 제안하며, 이는 과소정의 시스템에서 더러움이 없는 희소 해를 가능하게 한다.
• MC 페널티와 내성 손실을 복합적으로 조합한 손실 함수를 사용하는 SORR(Sparse Outlier-Robust Regression) 방법을 도입하여 고가우시안 노이즈와 희소 이상치를 구분한다.
• 두 개의 선형/애파인 연산자 ℒ(하위공간 투영용)과 𝒜₂(내성 회귀/분류용)를 활용하며, 이를 LiMES 모델 구조에 통합한다.
• 효율적인 알고리즘 구현을 위해 프록시멀 경사수행법을 사용하며, 혼합 분리 가능성(모어 엔velope는 분리 가능하지만, LiMES 함수는 덧셈적으로 분리 불가능함)을 활용한다.
• 목적 함수의 부드러운 부분의 볼록성에 대한 필요 및 충분 조건을 유도하여 수렴 보장을 확보한다.
• 내성 분류에서 허프 손실을 지지 함수와 애파인 연산자의 복합함수로 표현하여 LiMES 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 모어-강화된 MC 페널티는 과소정의 시스템으로 확장될 수 있는가? 이 경우 볼록성과 추정 편향 감소를 유지할 수 있는가?
• RQ2 고가우시안 노이즈와 희소 이상치를 명시적으로 모델링함으로써 내성 회귀는 어떻게 안정화될 수 있는가?
• RQ3 LiMES 목적 함수의 부드러운 성분의 볼록성을 보장하는 조건은 무엇인가?
• RQ4 LiMES 모델은 희소 복원, 내성 회귀, 안정적인 주성분 추적과 같은 다양한 문제를 통합할 수 있는가?
• RQ5 다양한 이상치 및 노이즈 수준에서 LiMES 기반 SORR 방법은 LAD, 허버 손실, RPGG에 비해 정량적으로 어떻게 성능이 뛰어나게 되는가?

주요 결과

• PMC 페널티는 과소정의 시스템에서 더러움이 없는 희소 복원을 달성하며, 수치 실험에서 일반화된 MC(GMC) 방법보다 뛰어난 성능을 보였다.
• SORR는 LAD, 허버 손실, RPGG보다 유의미하게 높은 정확도와 안정성을 보였으며, 특히 낮은에서 중간 정도의 이상치 밀도에서 두각을 나타냈다.
• 신호-이상치 비율(SOR)이 -12 dB 이하로 감소할수록 SORR 성능이 향상되며, 이는 MC 손실의 포화 효과로 인해 큰 이상치에 대해 강력한 내성성을 보임을 시사한다.
• 목적 함수의 부드러운 부분이 볼록일 경우 프록시멀 디biased 알고리즘이 신뢰성 있게 수렴하며, 이 볼록성에 대한 필요 및 충분 조건이 유도되었다.
• LiMES 모델은 주성분 추적과 내성 분류를 성공적으로 통합하였으며, 이들의 손실 함수를 지지 함수와 애파인 연산자의 복합함수로 표현함으로써 이를 달성했다.
• 300회의 시뮬레이션 결과, SORR는 고노이즈 및 희소 이상치 조건에서도 낮은 오차를 유지하였으며, RPGG는 SOR가 매우 낮은 -40 dB 이하에서 느린 수렴으로 인해 성능이 저하되었다.