[논문 리뷰] Convergence Rates of Active Learning for Maximum Likelihood Estimation

Kamalika Chaudhuri, Sham M. Kakade외 2명|arXiv (Cornell University)|2015. 06. 08.

Machine Learning and Algorithms참고 문헌 16인용 수 4

한 줄 요약

이 논문은 일반선형모형(GLMs)에서 최대우도추정(MLE)을 위한 이중단계 활성학습 알고리즘을 제안하며, 무작위 샘플링 이후 한 번의 추가 상호작용 뿐만으로도 최적의 수렴 속도를 달성한다. 이 방법은 기대 로그우도 오차를 최소화하기 위해 적합한 피셔 정보 기반 기준을 사용하여 정보가 풍부한 샘플을 선택하며, 엄밀한 상한과 하한을 증명하여 근사 최적의 레이블 효율성을 입증한다.

ABSTRACT

An active learner is given a class of models, a large set of unlabeled examples, and the ability to interactively query labels of a subset of these examples; the goal of the learner is to learn a model in the class that fits the data well. Previous theoretical work has rigorously characterized label complexity of active learning, but most of this work has focused on the PAC or the agnostic PAC model. In this paper, we shift our attention to a more general setting -- maximum likelihood estimation. Provided certain conditions hold on the model class, we provide a two-stage active learning algorithm for this problem. The conditions we require are fairly general, and cover the widely popular class of Generalized Linear Models, which in turn, include models for binary and multi-class classification, regression, and conditional random fields. We provide an upper bound on the label requirement of our algorithm, and a lower bound that matches it up to lower order terms. Our analysis shows that unlike binary classification in the realizable case, just a single extra round of interaction is sufficient to achieve near-optimal performance in maximum likelihood estimation. On the empirical side, the recent work in ~\cite{Zhang12} and~\cite{Zhang14} (on active linear and logistic regression) shows the promise of this approach.

연구 동기 및 목표

• 일반 모델 클래스에서 최대우도추정을 위한 이론적으로 탄탄한 활성학습 알고리즘을 개발하기 위해.
• 특히 GLMs에 대해 활성학습의 유한표본 레이블 복잡도를 분석하기 위해.
• 제안된 방법의 최적성을 입증하기 위해 상한과 하한을 모두 수립하기 위해.
• 이중분류 설정과 달리, MLE에서 최적에 가까운 성능을 달성하기 위해 초기 무작위 레이블링 이후 한 번의 활성 샘플링 라운드로도 충분함을 보여주기 위해.
• 기대 로그우도 오차를 최소화하는 데 직접 기여하는 원리적인 샘플 선택 기준을 제공하기 위해.

제안 방법

• 알고리즘은 이중단계 접근법을 사용한다: 먼저, 진짜 매개변수 $\theta^*$의 初기 추정치 $\theta_1$ 를 형성하기 위해 소수의 레이블을 무작위로 샘플링한다.
• 두 번째 단계에서, $\theta_1$ 에서의 피셔 정보 행렬의 요약 통계량을 최적화하여 추가 샘플을 선택하며, 특히 기대 로그우도 오차의 최소화를 목표로 한다.
• 선택 기준은 MLE의 渐近 분산과 일치하도록 유도되며, 학습 목표와의 일치를 보장한다.
• 모델 클래스에 대한 정규성 조건을 가정하며, 이는 음의 로그우도의 볼록성과 피셔 정보 및 그 도함수의 유계성 포함된다.
• GLMs의 구조를 활용하여, 피셔 정보가 $x$ 와 $\theta$ 에만 의존함을 이용하여, 회귀, 이진/다중 분류, CRFs 등에 광범위하게 적용 가능하도록 한다.
• 이론적 분석은 피셔 정보 행렬의 역행렬의 트레이스를 사용하여 기대 로그우도 오차를 경계하며, 표본 크기의 함수로 수렴 속도 표현식을 도출한다.

실험 결과

연구 질문

• RQ1 일반 모델 클래스에서 최대우도추정을 위한 활성학습이 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 이중분류 설정과 비교해 볼 때, MLE에서 유한표본 레이블 효율성을 근사 최적 수준으로 달성하기 위해 단 한 번의 활성 샘플링 라운드로도 충분한가?
• RQ3 유한표본 MLE에서 기대 로그우도 오차를 최소화하는 데 최적의 샘플 선택 기준은 무엇인가?
• RQ4 활성 MLE의 레이블 요구량은 이론적 하한과 어떻게 비교되는가?
• RQ5 제안된 방법은 선형 회귀, 로지스틱 회귀, 다항 로지스틱 회귀와 같이 널리 쓰이는 모델들에 적용 가능한가?

주요 결과

• 제안된 이중단계 활성학습 알고리즘은 $ (1+o(1)) \frac{\mathrm{Tr}(I_{\Gamma^*}(\theta^*)^{-1} I_U(\theta^*))}{m_2} $ 의 수렴 속도를 달성하며, 하위항을 제외한 이론적 하한과 일치한다.
• 로지스틱 회귀 및 다항 로지스틱 회귀를 포함한 GLMs의 경우, 첫 번째 단계에서 $ m_1 = \omega(d) $ 개의 샘플을 사용하면 최적의 수렴 속도를 달성한다. 여기서 $ d $ 는 입력 차원이다.
• 레이블 복잡도가 최적이다: 샘플 선택과 MLE를 사용하는 어떤 알고리즘도 이 속도보다 더 빠르게 수렴할 수 없으며, 하위항을 제외한 수준에서 최적이다.
• PAC 모델 하에서의 이중분류와 달리, MLE에서는 초기 무작위 레이블링 이후 한 번의 추가 상호작용만으로도 근사 최적의 성능을 달성할 수 있으며, 이는 레이블 효율성 측면에서 근본적인 차이를 보인다.
• 피셔 정보의 의존성에 대한 일반적 조건 덕분에, 선형 회귀, 로지스틱 회귀, 조건부 임의의 장치(CRFs) 등 넓은 범위의 모델에 적용 가능하다.
• 분석 결과, 표준 가정 하에 차원 $ d $ 가 증가하더라도 수렴 속도가 증가하지 않음을 보여주며, 이는 $ \|\theta^*\|_2 $, $ \|x\|_2 $, $ \Sigma \preceq \frac{C}{d}I $ 의 유계성 조건을 포함하여 확장 가능성을 보장한다.