[논문 리뷰] Robustness in sparse linear models: relative efficiency based on robust approximate message passing

Jelena Bradić|arXiv (Cornell University)|2015. 07. 31.

Statistical Methods and Inference참고 문헌 36인용 수 10

한 줄 요약

이 논문은 $ p \gg n $ 인 고차원 선형 모델에 대해 비제곱형, 비미분 가능한 손실 함수를 사용하여 잔차가 무거운 尾를 가지는 경우의 추정 효율성을 향상시키는 강건한 희소 근사 메시지 전달 알고리즘(RAMP)을 제안한다. 이는 비제곱형, 비미분 가능한 손실 함수를 사용함으로써 무거운 尾 오차 하에서 추정 효율성을 향상시키며, 페널티가 가해진 최소절대편차(LAD)가 최소제곱법(OLS)보다 효율성이 뛰어나다는 것을 입증한다. 이는 희소성 조건 하에서도 기존의 비페널티 설정에서 관찰된 전형적인 패tern을 뒤집는 결과이다.

ABSTRACT

Understanding efficiency in high dimensional linear models is a longstanding problem of interest. Classical work with smaller dimensional problems dating back to Huber and Bickel has illustrated the benefits of efficient loss functions. When the number of parameters $p$ is of the same order as the sample size $n$, $p \approx n$, an efficiency pattern different from the one of Huber was recently established. In this work, we consider the effects of model selection on the estimation efficiency of penalized methods. In particular, we explore whether sparsity, results in new efficiency patterns when $p > n$. In the interest of deriving the asymptotic mean squared error for regularized M-estimators, we use the powerful framework of approximate message passing. We propose a novel, robust and sparse approximate message passing algorithm (RAMP), that is adaptive to the error distribution. Our algorithm includes many non-quadratic and non-differentiable loss functions. We derive its asymptotic mean squared error and show its convergence, while allowing $p, n, s o \infty$, with $n/p \in (0,1)$ and $n/s \in (1,\infty)$. We identify new patterns of relative efficiency regarding a number of penalized $M$ estimators, when $p$ is much larger than $n$. We show that the classical information bound is no longer reachable, even for light--tailed error distributions. We show that the penalized least absolute deviation estimator dominates the penalized least square estimator, in cases of heavy--tailed distributions. We observe this pattern for all choices of the number of non-zero parameters $s$, both $s \leq n$ and $s \approx n$. In non-penalized problems where $s =p \approx n$, the opposite regime holds. Therefore, we discover that the presence of model selection significantly changes the efficiency patterns.

연구 동기 및 목표

• 고차원 희소 선형 모델에서 $ p \approx n $ 또는 $ p \gg n $ 인 경우, 특히 정규 분포가 아닌 오차 분포 하에서의 추정 효율성을 이해하는 것.
• 오차가 정규성에서 벗어나고 희소성이 존재할 경우 기존의 페널티가 가해진 M-추정량의 강건성 부족 문제를 해결하는 것.
• 일반적인 손실 함수, 특히 비가능한 손실 함수를 포함한 경우에도 정규화된 M-추정량의 점근적 평균제곱오차(AMSE)를 유도하는 것.
• 모델 선택(희소성)이 기존의 Huber 유형 M-추정에서 관찰된 고전적 효율성 패턴을 어떻게 변화시키는지 조사하는 것.
• 다양한 오차 분포를 다룰 수 있고 $ p,n,s \to \infty $ 조건 하에서 수렴하는 강건하고 적응형 알고리즘(RAMP)을 개발하는 것. 이때 $ n/p \in (0,1) $ 이고 $ n/s \in (1,\infty) $ 이다.

제안 방법

• 일반적인 M-추정 손실 함수를 사용하여 알려지지 않은 오차 분포에 적응하는 새로운 강건한 근사 메시지 전달(RAMP) 알고리즘을 제안한다.
• 근사 메시지 전달(AMP) 프레임워크를 활용하여 고차원 점근적 조건 하에서 페널티가 가해진 M-추정량의 점근적 평균제곱오차(AMSE)를 유도한다.
• 독립적 동일분포를 가진 가우시안 설계 행렬과 서브가우시안 잡음 조건 하에서, 추정 오차의 동역학을 추적하기 위해 상태진화 분석을 적용한다.
• 비제곱형 및 비가능한 손실 함수(예: $ \rho(u) = |u| $ 에서 LAD)를 도입하여 최소제곱법을 초월하고 강건성을 향상시킨다.
• 점근적 조건 $ p,n,s \to \infty $ 이면서 $ n/p \in (0,1) $ 과 $ n/s \in (1,\infty) $ 를 만족할 때 RAMP 알고리즘의 수렴성을 도출하며, 이는 고차원 환경에서의 일致성을 보장한다.
• 신호 대 잡음비와 상태진화 내의 소프트 임계처리를 기반으로 한 임계처리 메커니즘을 도입하여 희소성 유지와 오차 전파 통제를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 모델($ p \gg n $)에서의 희소성은 비차원 설정과 비교해 기존의 M-추정량의 효율성 패턴을 어떻게 변화시키는가?
• RQ2 고차원 모델에서 $ p \gg n $ 조건 하에 잔차가 무거운 尾를 가지는 경우, 강건하고 희소한 M-추정량이 최소제곱법보다 더 높은 추정 효율성을 달성할 수 있는가?
• RQ3 희소성 조건 하에서 $ s \approx n $ 이더라도, 페널티가 가해진 최소절대편차(LAD) 추정량이 페널티가 가해진 최소제곱법(LS) 추정량보다 상대적 효율성에서 우월한가?
• RQ4 고차원 희소 모델에서 $ p \gg n $ 이더라도 경량 오차 분포 조건 하에 고전적 정보한계는 여전히 달성 가능한가?
• RQ5 모델 선택(희소성)이 존재할 경우, 비페널티 설정에서 일반적으로 LS가 LAD를 압도하는 효율성 우월성이 어떻게 뒤집어지는가?

주요 결과

• 무거운 尾 오차 분포 하에서 모든 $ s $ 값, 특히 $ s \leq n $ 와 $ s \approx n $ 조건 하에서도 페널티가 가해진 최소절대편차(LAD) 추정량이 페널티가 가해진 최소제곱법(LS) 추정량보다 상대적 효율성이 뛰어나다.
• 희소성과 고차원성의 상호작용으로 인해 고차원 희소 모델에서는 고전적 정보한계에 도달할 수 없으며, 경량 오차 분포 조건 하에서도 마찬가지이다.
• 희소성은 효율성 패턴을 근본적으로 변화시킨다: 비페널티 모델($ s = p \approx n $)에서는 LS가 LAD를 압도하지만, 페널티가 가해진 희소 모델($ s \ll p $)에서는 LAD가 LS를 압도한다.
• 제안된 RAMP 알고리즘은 $ p,n,s \to \infty $ 이면서 $ n/p \in (0,1) $ 과 $ n/s \in (1,\infty) $ 인 공동 점근적 조건 하에서 수렴하며, 점근적 평균제곱오차(AMSE)의 일致한 근사값을 제공한다.
• RAMP 알고리즘은 알려지지 않은 오차 분포에 강건하고 적응 가능하며, 최소제곱 손실을 초월하는 광범위한 비제곱형 및 비가능한 손실 함수를 지원한다.
• 상태진화 분석을 통해 RAMP 알고리즘이 안정적인 오차 동역학을 유지하고 소프트 임계처리를 통해 최적의 임계처리 행동을 달성함으로써, 적절한 조건 하에서 진짜 희소 신호로 수렴함을 확인하였다.