[논문 리뷰] Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems

Bhaskar Mukhoty, Govind Gopakumar외 2명|arXiv (Cornell University)|2020. 06. 25.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 가중 강凸성과 강연속성을 사용하여 임의의 초기화로부터도 전역 수렴 보장을 보장하는, 강건 회귀를 위한 최초의 전역 수렴 IRLS 알고리즘을 제시한다. STIR(스parser Truncated Iterative Reweighting)라는 빠르고 기울기 기반의 변종을 도입하여, 상태기반 기법들보다 속도와 하이퍼파rameter 잘못 설정에 대한 강건성에서 뛰어나며, 서브-가우시안 공변수 조건 하에서 악성 레이블 오염 조건에서도 성능을 유지한다.

ABSTRACT

We provide the first global model recovery results for the IRLS (iteratively reweighted least squares) heuristic for robust regression problems. IRLS is known to offer excellent performance, despite bad initializations and data corruption, for several parameter estimation problems. Existing analyses of IRLS frequently require careful initialization, thus offering only local convergence guarantees. We remedy this by proposing augmentations to the basic IRLS routine that not only offer guaranteed global recovery, but in practice also outperform state-of-the-art algorithms for robust regression. Our routines are more immune to hyperparameter misspecification in basic regression tasks, as well as applied tasks such as linear-armed bandit problems. Our theoretical analyses rely on a novel extension of the notions of strong convexity and smoothness to weighted strong convexity and smoothness, and establishing that sub-Gaussian designs offer bounded weighted condition numbers. These notions may be useful in analyzing other algorithms as well.

연구 동기 및 목표

• 기존 IRLS 분석에서 강건 회귀에 대해 전역 수렴 보장을 부족하게 하는 문제를 해결하기 위해, 일반적으로 철저한 초기화가 필요로 하는 문제를 해결한다.
• 나쁜 초기화 조건에서도 신뢰할 수 있는 모델 복원을 보장하는 알고리즘을 개발한다.
• 표준 회귀 및 선형 무기반 밴딧과 같은 적용 설정에서 하이퍼파ram터 잘못 설정에 대한 강건성을 향상시킨다.
• 새로운 개념인 가중 강凸성과 강연속성, 서브-가우시안 설계 조건 하에서 유한한 가중 조건 수를 도입하여 이론적 기초를 마련한다.

제안 방법

• IRLS의 빠르고 기울기 기반의 변종인 STIR(Sparse Truncated Iterative Reweighting)를 제안하여 수렴성과 강건성을 향상시킨다.
• 데이터 오염 조건 하에서의 수렴성을 분석하기 위해 가중 강凸성과 강연속성의 개념을 도입한다.
• 서브-가우시안 공변수를 사용하여 유한한 가중 조건 수를 확보함으로써 전역 수렴 보장을 가능하게 한다.
• STIR의 적응형 가중치를 기반으로 한 가중 공분산 행렬을 사용하여 선형 밴딧 응용에서 신뢰 구간을 구성한다.
• WUCB-Lin 알고리즘 내부에 STIR를 적용하여 악성 보상 오염 조건 하에서도 진짜 모델을 가중 최소제곱을 통해 추정한다.
• 잔차 크기를 기반으로 이전 관측치를 잘라내고 재가중하며, 오염 가능성이 있는 데이터 포인트에 낮은 가중치를 할당한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 악성 초기화 조건 하에서도 강건 회귀에 대해 IRLS가 전역 수렴 보장을 받을 수 있는가?
• RQ2 IRLS 히우리즘은 어떻게 수정되어 악성 레이블 오염에 대해 강건해질 수 있는가?
• RQ3 오염된 데이터 존재 조건 하에서 IRLS의 전역 수렴을 보장하기 위해 어떤 새로운 이론적 개념이 필요한가?
• RQ4 STIR은 기존의 강건 회귀 알고리즘보다 속도와 하이퍼파ram터 오류에 대한 내성에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 가중 강凸성과 강연속성의 도입은 서브-가우시안 설계 조건 하에서 더 날카운 수렴 분석을 가능하게 하는가?

주요 결과

• 제안된 STIR 알고리즘은 서브-가우시안 공변수 조건 하에서도 악성 레이블 오염 조건 하에서 강건 회귀에 대해 전역 수렴을 달성한다.
• STIR은 표준 회귀 작업에서 기존 최첨단 알고리즘보다 속도와 하이퍼파ram터 잘못 설정에 대한 강건성에서 뛰어나다.
• 선형 무기반 밴딧과 같은 적용 설정에서도 성능이 뛰어나며, 오염된 보상 조건 하에서도 낮은 누적 의사 손실을 달성한다.
• 이론적 분석을 통해 서브-가우시안 설계 조건 하에서 유한한 가중 조건 수를 확보할 수 있으며, 이는 전역 수렴 보장을 가능하게 한다.
• 가중 강凸성과 강연속성의 도입은 기존 강凸성의 개념을 넘어서는 IRLS 분석을 위한 새로운 프레임워크를 제공한다.
• 실험 결과는 STIR이 SOCP 및 하드 히어링팅 기법들보다 초기화 및 하이퍼파ram터 선택에 더 강건함을 보여준다.