[논문 리뷰] Learning with Square Loss: Localization through Offset Rademacher Complexity

Tengyuan Liang, Alexander Rakhlin외 1명|arXiv (Cornell University)|2015. 02. 21.

Machine Learning and Algorithms참고 문헌 20인용 수 15

한 줄 요약

이 논문은 제곱 손실 회귀 분석을 위한 새로운 도구로 오프셋 라데마처 복잡도를 도입한다. 이는 유계 함수가 필요 없이 국지화를 가능하게 하며, 초과 위험의 상한을 이 복잡도로 제시한다. 이는 유계 케이스에서 알려진 속도를 복원하고, 기하학적 부등식과 체인 기법을 통해 비유계 설정으로 확장한다.

ABSTRACT

We consider regression with square loss and general classes of functions without the boundedness assumption. We introduce a notion of offset Rademacher complexity that provides a transparent way to study localization both in expectation and in high probability. For any (possibly non-convex) class, the excess loss of a two-step estimator is shown to be upper bounded by this offset complexity through a novel geometric inequality. In the convex case, the estimator reduces to an empirical risk minimizer. The method recovers the results of \citep{RakSriTsy15} for the bounded case while also providing guarantees without the boundedness assumption.

연구 동기 및 목표

• 함수나 노이즈에 대한 유계성 가정이 없는 경우에도 제곱 손실 회귀에서 초과 위험을 분석하기 위한 통합 프레임워크를 개발하는 것.
• 국지화의 목적을 위해 예측값과 고확률에서의 국지화를 위한 도구로서 오프셋 라데마처 복잡도 개념을 도입하고 체계화하는 것.
• 비볼록 및 비유계 함수 클래스로의 국지 라데마처 복잡도와 경험 위험 최소화 기존 결과의 확장.
• 최소 최대 초과 위험에 대한 하한을 오프셋 라데마처 복잡도로 제시하여, 이 복잡도가 회귀 문제에서 본질적인 역할을 한다는 것을 보여주는 것.
• 기존의 체인 기반 분석을 통해 유계성이 필요 없이 알려진 집합 평균 속도(예: [18]에서의 결과)를 회복하는 것.

제안 방법

• 이중 단계 추정기 제안: 첫 번째로 함수 클래스 $\mathcal{F}$ 위에서 경험 위험 최소화자 $\widehat{g}$ 를 계산하고, 두 번째로 별체 $\text{star}(\mathcal{F}, \widehat{g})$ 위에서 경험 위험을 최소화하는 것.
• 오프셋 라데마처 과정 $ g \mapsto \frac{1}{n}\sum_{t=1}^n \epsilon_t g(x_t) - c g(x_t)^2 $ 도입. 이 이차항은 큰 $g$ 값의 억제를 통해 국지화를 유도한다.
• 이 과정의 최대값으로 오프셋 라데마처 복잡도를 정의하며, 이는 이중 단계 추정기의 초과 위험에 대한 기댓값과 고확률 상한으로 작용한다.
• 기하학적 부등식을 적용하여 초과 위험을 오프셋 라데마처 복잡도와 연결함으로써, 고전적 결과를 비유계 설정으로 일반화한다.
• 커버링 수를 기반으로 한 체인 기법을 사용하여 오프셋 과정의 최대값을 상한으로 제시함으로써, 유한 샘플 위험 상한을 도출한다.
• 오프셋 라데마처 복잡도가 Mendelson [14]의 고정점 복잡도로 상한을 가질 수 있음을 보여주어, 기존 프레임워크와의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 함수 클래스나 노이즈에 대한 유계성 가정 없이도 제곱 손실 회귀에서 국지화를 달성할 수 있는가?
• RQ2 초과 위험 상한 측면에서 오프셋 라데마처 복잡도가 고전적 국지 라데마처 복잡도와 비교해 어떻게 다른가?
• RQ3 제곱 손실 하에서 회귀 문제의 최소 최대 초과 위험을 특징짓는 본질적 복잡도 측정은 무엇인가?
• RQ4 비볼록성 또는 유계성 가정 없이도 이중 단계 스타 추정기는 최적 속도를 달성할 수 있는가?
• RQ5 비유계 영역에서 커버링 수와 체인 기법을 통해 오프셋 라데마처 복잡도를 얼마나 잘 제어할 수 있는가?

주요 결과

• 유계성 조건 없이도 이중 단계 추정기의 초과 위험은 기댓값과 고확률 모두에서 오프셋 라데마처 복잡도로 상한이 제시된다.
• 선형 클래스의 경우 오프셋 라데마처 복잡도가 기댓값과 고확률에서 $\mathcal{O}(p/n)$ 임을 보였으며, 이는 일반 최소 제곱법의 속도와 일치한다.
• 이 방법은 [18]에서의 집합 평균 속도를 유계 함수나 노이즈 없이 복원하며, 그 결과를 비유계 설정으로 확장한다.
• 최소 최대 초과 위험에 대한 하한이 오프셋 라데마처 복잡도로 제시되었으며, 이는 이 복잡도가 문제에서 본질적인 역할을 한다는 것을 시사한다.
• 오프셋 라데마처 복잡도가 Mendelson [14]의 고정점 복잡도로 상한을 가짐을 보여주어, 이전 프레임워크와의 연결을 가능하게 한다.
• 하향 이소메트리 조건을 가정하면 고확률 상한이 확립되며, 이 조건은 서브가우시안 클래스에서 성립하여 분산 제어의 타당성을 보장한다.