[논문 리뷰] Taming heavy-tailed features by shrinkage

Ziwei Zhu, Wenjing Zhou|arXiv (Cornell University)|2017. 10. 24.

Statistical Methods and Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 두꺼운 尾를 가진 특징과 응답 변수가 존재할 때 일반선형모형(GLMs)의 정확도를 높이기 위해 $\varepsilon$-노름 수축 방법을 제안한다. 저차원에서는 $\ell_4$-노름 수축을 적용하고 고차원에서는 원소별 수축을 사용함으로써, 유한한 네 번째 모멘트 조건 하에서 거의 최소최대 최적의 추정 성능과 지수적 편차 경계를 달성한다. 이는 두꺼운 尾를 가진 데이터에서 로지스틱 회귀 및 선형 회귀 성능을 크게 향상시키며, 노이즈와 잘못된 레이블이 존재하는 수기 인식 작업에서 오류 분류율을 30퍼센트 이상 감소시킨다.

ABSTRACT

In this work, we focus on a variant of the generalized linear model (GLM) called corrupted GLM (CGLM) with heavy-tailed features and responses. To robustify the statistical inference on this model, we propose to apply $\ell_4$-norm shrinkage to the feature vectors in the low-dimensional regime and apply elementwise shrinkage to them in the high-dimensional regime. Under bounded fourth moment assumptions, we show that the maximum likelihood estimator (MLE) based on the shrunk data enjoys nearly the minimax optimal rate with an exponential deviation bound. Our simulations demonstrate that the proposed feature shrinkage significantly enhances the statistical performance in linear regression and logistic regression on heavy-tailed data. Finally, we apply our shrinkage principle to guard against mislabeling and image noise in the human-written digit recognition problem. We add an $\ell_4$-norm shrinkage layer to the original neural net and reduce the testing misclassification rate by more than $30\%$ relatively in the presence of mislabeling and image noise.

연구 동기 및 목표

• 특징과 응답 변수가 두꺼운 尾 분포를 보일 때 표준 추정기의 성능 저하 문제를 해결하기 위해.
• 서브-가우시안 또는 서브-지수 조건이 아닌, 유한한 네 번째 모멘트 조건만을 가정하는 약한 모멘트 조건 하에서 GLMs에 대한 강건한 통계적 프레임워크를 개발하기 위해.
• 두꺼운 尾를 가진 특징이 최대우도추정법의 정확도를 해칠 때 통계적 효율성과 추론의 강건성을 향상시키기 위해.
• 평균 추정 및 위험 최소화의 강건 추정 원칙을 특징 수준의 오염 문제에까지 확장하기 위해.
• 실제 응용 사례에서 잘못된 레이블링과 이미지 노이즈가 존재할 때 특징 수축의 효과를 입증하기 위해, 예를 들어 신경망 기반 수기 인식에서의 응용을 다루기 위해.

제안 방법

• 저차원 영역에서는 특징 벡터에 $\ell_4$-노름 수축을 적용하며, 이는 $\widetilde{\mathbf{x}}_i^s = \min(\|\mathbf{x}_i\|, \tau) \cdot \mathbf{x}_i / \|\mathbf{x}_i\|$ 로 정의되어 극단적인 특징 크기를 제한한다.
• 고차원 영역에서는 원소별 수축을 사용하여 두꺼운 尾를 가진 특징이 추정에 미치는 영향을 줄인다.
• 수축된 특징에 대해 수정된 최대우도추정법(MLE)을 적용하여, 유한한 네 번째 모멘트 조건 하에서도 서브-가우시안 농도를 달성한다.
• 수축된 데이터에 대한 MLE에 대해 지수적 편차 경계를 유도하며, 약한 모멘트 조건 하에서 거의 최소최대 최적의 성능을 증명한다.
• 이미지 분류에서 악성 공격 및 잘못된 레이블링에 대비하기 위해 신경망에 수축층을 도입한다.
• 특징 벡터의 노름을 제한하기 위해 $\ell_4$-노름 기반의 임계값 기반 메커니즘을 사용함으로써, 이상치가 로그우도에 미치는 영향을 줄인다.

실험 결과

연구 질문

• RQ1 표준 MLE는 두꺼운 尾를 가진 특징과 응답 변수가 존재할 때도 통계적으로 효율적인가, 아니면 악화된 농도를 겪는가?
• RQ2 특징 수축—구체적으로 $\ell_4$-노름 또는 원소별 수축—은 두꺼운 尾 설계를 가진 GLMs에서 추정 정확도와 강건성을 향상시키는가?
• RQ3 제안된 수축 방법은 서브-가우시안 가정 없이 유한한 네 번째 모멘트 조건 하에서 거의 최소최대 최적의 속도를 달성할 수 있는가?
• RQ4 특징 수축은 딥러닝 모델에서 잘못된 레이블링과 이미지 노이즈의 영향을 줄이는 데 얼마나 효과적인가?
• RQ5 수축 원칙은 실세계의 오염된 데이터 환경에서 강건성을 향상시키기 위해 신경망으로까지 확장될 수 있는가?

주요 결과

• 유한한 네 번째 모멘트 조건 하에서 $\ell_4$-노름 수축된 특징에 기반한 MLE는 거의 최소최대 최적의 추정 속도를 달성한다.
• 수축된 데이터에 대한 MLE에 대해 지수적 편차 경계를 제공하여, 두꺼운 尾 특징이 존재하더라도 강력한 농도 보장을 한다.
• 시뮬레이션 결과는 두꺼운 尾 데이터에서 선형 회귀 및 로지스틱 회귀 성능이 크게 향상되었으며, 경계 정렬이 향상되고 오류 분류율이 감소함을 보여준다.
• 잘못된 레이블링과 이미지 노이즈가 존재하는 수기 인식 작업에서 $\ell_4$-노름 수축층을 추가함으로써 테스트 오류 분류율이 30퍼센트 이상 감소하였다.
• 이론적 분석은 수축이 약간의 편향을 증가시키지만 변동성의 상당한 감소를 가져오며, 약한 모멘트 조건 하에서도 강건한 추론을 가능하게 함을 확인한다.
• 특징이 두꺼운 尾일 경우, 특히 이상치나 잘못된 레이블이 존재할 때 표준 MLE보다 이 방법이 성능이 뛰어나다.