[논문 리뷰] Active and Adaptive Sequential learning

Yuheng Bu, Jiaxun Lu외 1명|arXiv (Cornell University)|2018. 05. 29.

Machine Learning and Algorithms참고 문헌 16인용 수 3

한 줄 요약

이 논문은 시간에 따라 변화하는 기계학습 문제에서 초과 위험을 유한하게 유지하기 위해 정보성 높은 샘플을 동적으로 선택하고 샘플 크기를 조절하는 주동적이고 적응적인 순차 학습 프레임워크를 제안한다. 모델 파라미터의 변화 속도를 추정하고, 활성 샘플링을 사용한 확률적 경사 하강법을 통해, 레이블링 비용을 줄이며 거의 최적의 성능를 달성하며, 합성 및 실세계 추천 데이터를 통해 검증되었다.

ABSTRACT

A framework is introduced for actively and adaptively solving a sequence of machine learning problems, which are changing in bounded manner from one time step to the next. An algorithm is developed that actively queries the labels of the most informative samples from an unlabeled data pool, and that adapts to the change by utilizing the information acquired in the previous steps. Our analysis shows that the proposed active learning algorithm based on stochastic gradient descent achieves a near-optimal excess risk performance for maximum likelihood estimation. Furthermore, an estimator of the change in the learning problems using the active learning samples is constructed, which provides an adaptive sample size selection rule that guarantees the excess risk is bounded for sufficiently large number of time steps. Experiments with synthetic and real data are presented to validate our algorithm and theoretical results.

연구 동기 및 목표

• 시간이 지남에 따라 모델 파라미터가 점진적으로 변화하는 순차 기계학습 문제를 다루는 것.
• 각 시간 단계에서 미레이블링된 풀에서 가장 정보성 높은 샘플을 주도적으로 선택하여 레이블링 비용을 줄이는 것.
• 초과 위험을 유한하게 유지하기 위해 각 시간 단계에서 필요한 샘플 수를 적응적으로 결정하는 것.
• 활성 학습 샘플을 사용하여 진정한 파라미터 변화 속도($\rho$)를 추정함으로써, 적응적인 샘플 크기 선택을 가능하게 하는 것.
• 초과 위험과 샘플 복잡도에 대한 이론적 보장을 제공하면서도 실용적 효율성을 유지하는 것.

제안 방법

• 알고리즘은 과거 모델 추정치와 피셔 정보를 기반으로 한 분포를 바탕으로 활성 샘플링을 사용하여 정보성 높은 샘플을 우선순위화한다.
• 활성적으로 선택된 레이블을 사용하여 확률적 경사 하강법(SGD)을 적용해 모델 파라미터를 업데이트한다.
• 활성 학습 샘플에서 유도된 새로운 추정기 $\hat{\rho}_t$ 는 진정한 변화 속도 $\rho$ 를 거의 확싞으로 상한으로 제한한다.
• 추정된 $\hat{\rho}_t$ 를 사용해 초과 위험을 시간에 따라 유한하게 유지하기 위해 샘플 크기 $K_t$ 를 적응적으로 선택한다.
• 역사적 정보를 활용해 샘플링 전략과 모델 업데이트를 개선함으로써 시간에 따라 변화하는 환경에서의 효율성을 높인다.
• 이 프레임워크는 합성 회귀와 로지스틱 회귀를 사용한 실세계 사용자 선호도 추적에 모두 적용된다.

실험 결과

연구 질문

• RQ1 활성 학습과 적응적인 샘플 크기 선택을 효과적으로 조합하여 시간에 따라 변화하는 학습 문제에서 초과 위험을 유한하게 유지할 수 있는가?
• RQ2 오직 활성 학습 샘플을 사용하여 모델 파라미터의 변화 속도 $\rho$ 를 신뢰성 있게 추정할 수 있는가?
• RQ3 추정된 변화 속도 $\hat{\rho}_t$ 와 실제 파라미터 이동 $\rho$ 사이의 이론적 관계는 무엇인가?
• RQ4 초과 위험과 샘플 효율성 측면에서 제안된 방법은 수동 또는 무작위 샘플링 전략과 비교해 어떻게 다른가?
• RQ5 $\hat{\rho}_t$ 에 기반한 적응적인 샘플 크기 규칙이 장기간에 걸쳐 초과 위험을 유한하게 유지할 수 있는가?

주요 결과

• 제안된 활성적이고 적응적인 알고리즘은 순차 학습에서 최대우도추정의 거의 최적의 초과 위험 성능를 달성한다.
• 추정기 $\hat{\rho}_t$ 는 거의 확싞으로 진정한 변화 속도 $\rho$ 의 보수적인 상한으로 수렴하여 신뢰할 수 있는 샘플 크기 적응을 가능하게 한다.
• 합성 회귀 실험에서, 알고리즘의 초과 위험는 초기 단계 이후 기준선 방법보다 유한하고 상당히 낮게 유지된다.
• Yelp 데이터셋에서, 알고리즘은 각 시간 단계당 단지 13개의 적응적 샘플을 사용해 분류 오차율 6%를 달성하며 기준선을 능가했다.
• 이론적으로 유도된 적응적 샘플 크기 규칙은 $\hat{\rho}_t$ 가 수렴함에 따라 점차 줄어들며 자원 사용의 효율성을 보여준다.
• 진정한 변화 속도 $\rho$ 가 크더라도 $\hat{\rho}_t$ 의 보수적 추정 덕분에 알고리즘은 낮은 초과 위험를 유지한다.