[논문 리뷰] The Sample Complexity of Learning Linear Predictors with the Squared Loss

Ohad Shamir|arXiv (Cornell University)|2014. 06. 19.

Machine Learning and Algorithms참고 문헌 9인용 수 5

한 줄 요약

이 논문은 제곱 손실을 갖는 선형 예측자 학습에 대해 악성의, 분포에 종속되지 않는 설정에서 샘플 복잡도의 날카운 하한을 확립한다. 기대 초과 위험은 $\min\{Y^2, \frac{B^2 + dY^2}{m}, \frac{BY}{\sqrt{m}}\}$에 비례함을 보이며, 이는 일반적으로 이전 연구에서 가정된 바와는 달리 노름 상한 $B$와 목표값 상한 $Y$가 일반화 성능에 독립적으로 영향을 미친다는 것을 시사한다.

ABSTRACT

In this short note, we provide a sample complexity lower bound for learning linear predictors with respect to the squared loss. Our focus is on an agnostic setting, where no assumptions are made on the data distribution. This contrasts with standard results in the literature, which either make distributional assumptions, refer to specific parameter settings, or use other performance measures.

연구 동기 및 목표

• 문헌의 격차를 메우기 위해 제곱 손실을 갖는 선형 회귀에 대한 분포에 종속되지 않는, 자가 포함적인 샘플 복잡도 분석을 제공하는 것.
• 일부 분포 가정(예: 잘 지정된 모델, 유계 예측자)에 의존하는 기존 결과가 악성 설정에서 진정한 샘플 복잡도를 포괄하지 못함을 보여주는 것.
• 파rameter 추정 오차($\mathbb{E}[\|\mathbf{w}-\mathbf{w}^*\|^2]$) 또는 유계 예측자가 아닌 경우의 예측 오차에 기반한 초과 위험 하한이, 가설 클래스가 노름 유계일 때 초과 위험 하한을 유도하지 못함을 보여주는 것.
• 특히 $B \geq 2Y$일 때, 목표값 상한 $Y$와 예측자 노름 상한 $B$가 일반화 성능에 미치는 역할을 명확히 하는 것.
• 모든 데이터 분포에 대해 균일하게 성립하는 날카운 하한을 확립하는 것. 유계 함수나 특정 모멘트 조건을 가정하지 않는다.

제안 방법

• 입력-출력 쌍 $(\mathbf{x}, y)$에 대해 $\|\mathbf{x}\| \leq 1$, $|y| \leq Y$, $\|\mathbf{w}\| \leq B$를 만족하는 어려운 분포 가족을 구성한다.
• 각 $\mathbf{e}_i$가 확률 $1/d'$로 선택되는 $d'$개의 표준 기저 벡터 $\mathbf{e}_i$에 대한 혼합 분포를 사용하며, $y$는 매개변수 $\sigma_i$에 따라 변하는 베르누이 랜덤 변수이다.
• 조건부 분포와 카누르-라이블러 발산을 사용하여 두 다른 매개변수 설정($\sigma_i > 0$ 대비 $\sigma_i < 0$)에서 학습 세트의 가능도를 비교한다.
• KL 발산의 공동 볼록성과 $\chi^2$ 발산을 사용하여 조건부 분포 간의 발산에 상한을 구한다.
• 초과 위험의 기대값에 대한 하한을 유도하기 위해 예측의 제곱 차이와 가설 및 데이터 간의 상호정보량을 연결한다.
• 자유 매개변수 $d'$(활성 차원 수)에 대해 최적화하여 두 영역인 $d > \sqrt{6m}B/Y$ 및 $d \leq \sqrt{6m}B/Y$에서 가장 날카운 하한을 도출한다.

실험 결과

연구 질문

• RQ1 완전히 악성의, 분포에 종속되지 않는 설정에서 제곱 손실을 갖는 선형 예측자 학습에 대해 최적의 샘플 복잡도는 무엇인가?
• RQ2 분포 가정이 없을 때 목표값 상한($Y$)과 예측자 노름 상한($B$)이 함께 일반화 오차에 어떻게 영향을 미치는가?
• RQ3 왜 표준 초과 위험 하한이 파라미터 추정 오차나 무한대일 수 있는 예측자에 기반할 때, 노름 유계 가설 클래스에서 진정한 복잡도를 포괄하지 못하는가?
• RQ4 초과 위험 오차에서 $Y$, $B$, $d$, $m$의 기여를 분리하는 날카운 하한을 확립할 수 있는가?
• RQ5 선형 회귀에서 제곱 손실 하에 차원 $d$, 샘플 크기 $m$, 노름 제약 조건 $B$와 $Y$ 사이의 기본적인 상호 보완 관계는 무엇인가?

주요 결과

• 모든 학습 알고리즘이 노름 유계 선형 예측자를 반환할 때, 기대 초과 위험에 대해 $c \cdot \min\left\{Y^2, \frac{B^2 + dY^2}{m}, \frac{BY}{\sqrt{m}}\right\}$의 보편 하한을 확립한다.
• 하한은 $m$이 작을 때 $\frac{B^2 + dY^2}{m}$에 비례함을 보이며, 이는 예측자 노름과 데이터 차원이 샘플 복잡도에 모두 기여함을 시사한다.
• $B \geq 2Y$일 때, 하한에 $\frac{BY}{\sqrt{m}}$ 항이 포함되어 있으며, 이는 노름 상한과 목표값 상한의 곱이 차원과 독립적으로 일반화에 영향을 미친다는 것을 보여준다.
• 이 하한은 알려진 상한과 상수 인자 수준에서 일치하므로 날카롭게 간주되며, 추가 가정 없이도 향상될 수 없다.
• 분석 결과, 이전 연구에서 $\mathbb{E}[\|\mathbf{w}-\mathbf{w}^*\|^2]$나 무한대일 수 있는 $B$에 의존하는 결과는, 노름 유계 케이스에서 초과 위험 하한을 유도하지 못함을 보여주며, 최대 $\frac{1}{1/2 - w}$ 수준의 곱셈 갭이 존재할 수 있기 때문이다.
• 결과는 모든 데이터 분포에 대해 균일하게 성립하며, 진짜 예측자가 가설 클래스에 포함되지 않을 경우에도 성립하며, $B$가 $Y$에 비해 클 때조차 비어 있지 않다.