[논문 리뷰] Active Regression by Stratification

Sivan Sabato, Rémi Munos|arXiv (Cornell University)|2014. 10. 22.

Machine Learning and Algorithms참고 문헌 22인용 수 16

한 줄 요약

이 논문은 분포에 의존하는 상수를 줄여 수렴 속도를 향상시켜 수동 학습보다 빠른 수렴 속도를 달성하는 파라미터 선형 회귀를 위한 활성 학습 알고리즘을 제안한다. 이 방법은 입력 공간을 분할하고 조각별로 일정한 근사값을 사용하여 최적의 오라클 리스크에 접근하며, 모델가 틀린 경우에도 유한 샘플 보장을 제공한다.

ABSTRACT

We propose a new active learning algorithm for parametric linear regression with random design. We provide finite sample convergence guarantees for general distributions in the misspecified model. This is the first active learner for this setting that provably can improve over passive learning. Unlike other learning settings (such as classification), in regression the passive learning rate of $O(1/ε)$ cannot in general be improved upon. Nonetheless, the so-called `constant' in the rate of convergence, which is characterized by a distribution-dependent risk, can be improved in many cases. For a given distribution, achieving the optimal risk requires prior knowledge of the distribution. Following the stratification technique advocated in Monte-Carlo function integration, our active learner approaches the optimal risk using piecewise constant approximations.

연구 동기 및 목표

• 수렴 속도의 분포에 의존하는 상수 측면에서 수동 학습보다 향상된 활성 학습 알고리즘을 선형 회귀에 개발하는 것.
• 가능한 모델 오차가 있는 상황에서도 일반 분포에 대해 유한 샘플 수렴 보장을 제공하는 것.
• 몬테 카를로 적분에서 흔히 사용되는 계층화 기법을 활용하여 입력 공간의 점점 더 정교한 분할을 통해 최적의 오라클 리스크를 근사하는 것.
• 활성 학습이 일반적으로 $O(1/\epsilon)$ 수렴 속도가 향상될 수 없음에도 불구하고, 선형 회귀에서 수동 학습보다 엄격히 빠른 수렴 속도를 달성할 수 있음을 보여주는 것.

제안 방법

• 알고리즘은 입력 공간 $\mathbb{R}^d$ 를 상호 배타적인 영역(층위)으로 계층적으로 분할하고, 각 층위에 타깃 레이블 수를 할당한다.
• 각 층위에 대해 입력값에 조건부로 레이블의 분산을 추정하고, 이 추정치를 기반으로 기대 오차를 최소화하도록 샘플을 할당한다.
• 세 단계 샘플링 전략을 사용한다: 첫째, 분포를 추정하고 공간을 분할한다; 둘째, 각 층위 내에서 국소 리스크를 추정하기 위해 샘플을 추출한다; 셋째, 모든 레이블 데이터를 사용하여 최종 예측기 모델을 학습한다.
• 집중 불등식과 추정 오차의 경계를 활용하여 유한 샘플 수렴 속도를 유도하며, 편향, 분산, 샘플링 오차 항을 포함한다.
• 수렴 속도는 가능한 최고의 분할로 정의된 오라클 리스크에 수렴하며, 오차는 $m$이 총 레이블 수일 때 $O(\log m / m)$ 의 속도로 감소한다.
• 알고리즘은 분할의 정교화와 고분산 또는 고영향 영역에 동적으로 샘플을 할당함으로써 데이터 분포에 적응한다.

실험 결과

연구 질문

• RQ1 선형 회귀에서 활성 학습이 수동 학습보다 수렴 속도의 분포에 의존하는 상수를 더 잘 개선할 수 있는가?
• RQ2 모델 오차가 있을 경우에도 활성 회귀에 대해 유한 샘플 수렴 보장을 제공할 수 있는가?
• RQ3 몬테 카를로 적분에서 사용되는 계층화 기법을 선형 회귀의 활성 학습에 적응시킬 수 있는가?
• RQ4 활성 학습이 선형 회귀에서 수동 학습보다 수렴 속도를 이론적으로 얼마나 더 개선할 수 있는가?
• RQ5 제안된 알고리즘이 입력 공간의 분할로 정의된 최적의 오라클 리스크로 수렴하는가?

주요 결과

• 활성 학습자는 $O(\log m / m)$ 의 수렴 속도를 달성하며, 이때 상수 요소는 입력 공간의 최고 가능한 분할로 정의된 최적의 오라클 리스크에 수렴한다.
• 특정 1차원 예시에서 활성 학습자의 오차율은 $O(\sigma^2 p \log(1/\delta)/m)$ 이고, 최고의 수동 학습자의 비율은 $\Omega(\sigma^2 / m)$ 이며, 이는 상수 요소에서 $O(1/p)$ 의 향상이 있음을 보여준다.
• 큰 $m$ 에서 수동 학습자와 활성 학습자의 수렴 비율 간 비율은 $O(1/p)$ 에 수렴하여 상수 항에서 증명 가능하고도 뚜렷한 향상이 있음을 입증한다.
• 모델 오차가 있을 경우에도 명시적인 표본 크기 및 신뢰 수준 파라미터에 따라 초과 리스크의 경계를 제공함으로써 유한 샘플 보장을 제공한다.
• 알고리즘의 수렴 속도는 최적 예측기의 $L^2$-노름과 분할에 의존하는 리스크를 포함하는 항으로 제한되며, 이는 계층화의 정교화를 통해 최소화될 수 있다.
• 분석 결과 활성 학습자는 주어진 분할에 대해 가능한 최소 리스크에 수렴할 수 있으며, 분할을 정교화함으로써 전역적으로 최적의 오라클 리스크로 수렴함을 보여준다.