[논문 리뷰] Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence

Xue Chen, Michał Dereziński|arXiv (Cornell University)|2021. 02. 03.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 최초로 L1(절대편차) 회귀에 대한 엄밀한 쿼리 복잡도 한계를 확립하며, 로그 인자들을 제외한 Θ(d/ε²) 쿼리가 필요하다고 보여준다. 이는 중요도 샘플링에서 이상치에 의한 분산을 보정하는 데 기여하는 새로운 분석 프레임워크인 강건한 균일 수렴을 도입함으로써 가능해졌다. 이는 쿼리 제약 조건 하에서 L1 회귀에 대한 최초의 비트리비얼 보장을 가능하게 한다.

ABSTRACT

Consider a regression problem where the learner is given a large collection of $d$-dimensional data points, but can only query a small subset of the real-valued labels. How many queries are needed to obtain a $1+ε$ relative error approximation of the optimum? While this problem has been extensively studied for least squares regression, little is known for other losses. An important example is least absolute deviation regression ($\ell_1$ regression) which enjoys superior robustness to outliers compared to least squares. We develop a new framework for analyzing importance sampling methods in regression problems, which enables us to show that the query complexity of least absolute deviation regression is $Θ(d/ε^2)$ up to logarithmic factors. We further extend our techniques to show the first bounds on the query complexity for any $\ell_p$ loss with $p\in(1,2)$. As a key novelty in our analysis, we introduce the notion of robust uniform convergence, which is a new approximation guarantee for the empirical loss. While it is inspired by uniform convergence in statistical learning, our approach additionally incorporates a correction term to avoid unnecessary variance due to outliers. This can be viewed as a new connection between statistical learning theory and variance reduction techniques in stochastic optimization, which should be of independent interest.

연구 동기 및 목표

• 로버스트 회귀에서 쿼리 복잡도 문제를 해결함. 특히 L1(절대편차) 회귀에 중점을 둔다.
• L1 회귀에서 닫힌 형태의 해가 없고 이상치에 민감한 점을 극복함으로써 이전의 쿼리 복잡도 분석을 방해하는 요소를 제거한다.
• 제한된 레이블 액세스 조건 하에서 중요도 샘플링 방법을 분석하기 위한 새로운 이론적 프레임워크를 개발한다.
• ℓp 회귀(p ∈ (1,2))로 분석을 확장하여 이러한 손실 함수에 대해 알려진 바 없는 최초의 쿼리 복잡도 한계를 도출한다.
• 통계적 학습 이론과 스토하스틱 최적화에서의 분산 감소 간의 새로운 연결 고리를 강건한 균일 수렴을 통해 확립한다.

제안 방법

• 강건한 균일 수렴을 도입함—표준 균일 수렴에 이상치에 의한 분산을 줄이는 보정 항을 추가한 새로운 근사 보장 방식.
• 중요도 샘플링에 대해 루이스 무게 샘플링을 적용함—이를 통해 ℓ1 부분공간 임베딩 성질을 활용해 경험 손실의 안정적 근사 보장.
• 쿼리 복잡도의 하한을 증명하기 위해 이진 통신 게임으로의 감소를 적용함—회귀 계수의 부호 패턴 기반으로 딱딱한 인스턴스를 구성.
• 레이블 분포에 대한 확률적 추론을 통해 기대 쿼리 비용을 분석함—집중 경계와 유니온 경계를 사용해 실패 확률를 제어.
• 상한과 하한 분석을 통합하여 쿼리 복잡도가 로그 인자들을 제외한 측면에서 엄밀함을 입증.
• 알고리즘의 출력 부호 패턴이 최적 해와 고려 확률로 최소 99%의 좌표에서 일치함을 증명함—이를 통해 통신 게임에서 승리 전략을 구성 가능.

실험 결과

연구 질문

• RQ1 레이블의 일부만 쿼리 가능한 상황에서 절대편차(L1) 회귀의 쿼리 복잡도는 얼마인가?
• RQ2 강건한 균일 수렴은 ℓ1와 같은 비미분 가능하고 이상치에 민감한 손실 함수에서 중요도 샘플링의 안정적 분석 프레임워크를 제공할 수 있는가?
• RQ3 p ∈ (1,2)인 ℓp 회귀의 쿼리 복잡도는 어떻게 스케일링되며, 유사한 기법으로 한계를 정할 수 있는가?
• RQ4 통계적 학습 이론과 스토하스틱 최적화에서의 분산 감소 간의 연결 고리를 강건한 균일 수렴을 통해 확립할 수 있는가?
• RQ5 L1 회귀에서 (1+ε)-근사값을 달성하기 위해 필요한 쿼리 수의 기본 한계(하한)는 무엇인가?

주요 결과

• L1 회귀의 쿼리 복잡도는 Ω((d + log(1/δ))/ε²)이며 O(d log(d/εδ)/ε²)로, 로그 인자들을 제외한 측면에서 엄밀함이 입증됨.
• 강건한 균일 수렴은 이상치에 의한 분산을 보정함으로써 L1 회귀에 대한 중요도 샘플링에 대한 최초의 비트리비얼 분석을 가능하게 함.
• 논문은 루이스 무게 샘플링이 O(d log(d/εδ)/ε²) 쿼리로 최적 L1 손실에 (1+ε)-근사값을 달성함을 증명함.
• 이중 통신 게임으로의 감소를 통해 Ω(d/ε²)의 하한을 확립함—이는 어떤 알고리즘도 Ω(d/ε²) 쿼리 이하로 (1+ε)-근사값을 달성할 수 없음을 보여줌.
• 프레임워크는 p ∈ (1,2)인 ℓp 회귀로 확장 가능하며, 이러한 손실 함수에 대해 알려진 바 없는 최초의 쿼리 복잡도 한계를 도출함.
• 분석을 통해 추정된 계수 벡터의 부호 패턴이 최적 해와 고려 확률로 최소 99%의 좌표에서 일치함을 입증함—이는 통신 게임 감소를 가능하게 함.