[논문 리뷰] Multitask Learning and Bandits via Robust Statistics

Kan Xu, Hamsa Bastani|arXiv (Cornell University)|2021. 12. 28.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 공통 전역 파라미터와 희소 개별 사례별 파라미터를 공유하는 이질적 학습 문제에서 표본 효율성을 향상시키기 위해 강력한 통계와 LASSO 회귀를 결합한 강력한 다중작업 학습 추정기인 RMEstimator를 제안한다. 이 방법은 고차원, 데이터가 부족한 환경에서 표본 복잡도를 지수적으로 향상시키며, 동적 校정을 통해 맥락 기반 밴딧 응용 분야에서 개선된 손실 경계를 제공한다.

ABSTRACT

Decision-makers often simultaneously face many related but heterogeneous learning problems. For instance, a large retailer may wish to learn product demand at different stores to solve pricing or inventory problems, making it desirable to learn jointly for stores serving similar customers; alternatively, a hospital network may wish to learn patient risk at different providers to allocate personalized interventions, making it desirable to learn jointly for hospitals serving similar patient populations. Motivated by real datasets, we study a natural setting where the unknown parameter in each learning instance can be decomposed into a shared global parameter plus a sparse instance-specific term. We propose a novel two-stage multitask learning estimator that exploits this structure in a sample-efficient way, using a unique combination of robust statistics (to learn across similar instances) and LASSO regression (to debias the results). Our estimator yields improved sample complexity bounds in the feature dimension $d$ relative to commonly-employed estimators; this improvement is exponential for "data-poor" instances, which benefit the most from multitask learning. We illustrate the utility of these results for online learning by embedding our multitask estimator within simultaneous contextual bandit algorithms. We specify a dynamic calibration of our estimator to appropriately balance the bias-variance tradeoff over time, improving the resulting regret bounds in the context dimension $d$. Finally, we illustrate the value of our approach on synthetic and real datasets.

연구 동기 및 목표

• 각 작업에 제한된 레이블이 있는 다수의 관련적이지만 이질적인 작업에서의 학습 과제를 해결하기 위해.
• 공통 전역 파라미터와 희소 개별 사례별 변동을 활용하여 고차원 환경에서의 표본 효율성을 향상시키기 위해.
• 보조 데이터가 이질적이거나 노이즈가 있을 경우에도 강력한 성능을 유지할 수 있는 추정기를 개발하기 위해.
• 편향-분산 트레이드오���을 위해 동적 校정을 통한 동시 맥락 기반 밴딧을 통해 추정기를 온라인 학습으로 확장하기 위해.
• 합성 및 실세계 데이터셋에서 표준 다중작업 학습 및 풀링 방법에 비해 이론적·실증적 우수성을 입증하기 위해.

제안 방법

• 두 단계 추정기 제안: 첫째, 모든 인스턴스를 통해 허버 유형의 M-추정기를 사용하여 전역 파라미터를 강력하게 추정; 둘째, 개별 사례별 희소 변동을 복구하기 위해 LASSO 회귀를 적용.
• 이상치와 인스턴스 간 이질성을 다루기 위해 강력한 통계 프레임워크를 사용하여 안정적인 전역 파라미터 추정을 보장.
• 개별 사례 추정치의 편향을 줄이고 전역 평균에서의 변동에 대한 희소성을 촉진하기 위해 LASSO 정규화를 적용.
• 편향과 분산의 균형을 시간에 따라 조절하기 위해 추정기를 동시에 맥락 기반 밴딧 알고리즘(RMBandit)에 통합하고 동적 하이퍼파ram터 校정을 수행.
• 변화하는 데이터 가용성과 인스턴스 유사성에 적응하기 위한 추정기의 튜닝 파라미터에 대한 새로운 校정 기법을 활용.
• 이론적 분석을 통해 특징 차원 d에서 개선된 표본 복잡도 경계를 확립하였으며, 데이터가 부족한 경우에 지수적 성과 향상을 입증.

실험 결과

연구 질문

• RQ1 강력한 통계와 LASSO를 결합한 다중작업 학습 추정기가 고차원적이고 이질적인 학습 문제에서 표준 추정기보다 더 나은 표본 복잡도를 달성할 수 있는가?
• RQ2 각 작업당 제한된 레이블 데이터만 존재하는 데이터가 부족한 경우에 제안된 추정기는 어떻게 성능을 발휘하는가?
• RQ3 추정기를 맥락 기반 밴딧 프레임워크에 통합함으로써 기준 방법에 비해 손실 경계가 얼마나 향상되는가?
• RQ4 실세계 응용에서 하이퍼파라미터의 잘못된 설정에 대해 이 방법은 얼마나 강건한가?
• RQ5 작업 간 개별 사례별 변동의 희소성과 정렬 정도에 따라 성능은 어떻게 변하는가?

주요 결과

• 제안된 RMEstimator는 데이터가 부족한 경우 특징 차원 d에서 지수적 표본 복잡도 향상을 달성하여 표준 추정기보다 뚜렷이 뛰어나다.
• 데이터가 부족한 환경(n_i/n_j >> 1)에서 RMEstimator의 예측 오차는 표준 추정기보다 낮으며, 이는 추론 4.8을 확인한다.
• RMBandit 알고리즘은 추정기를 동적으로 校정하여 편향과 분산의 균형을 조절함으로써 특징 차원 d에서 개선된 손실 경계를 달성한다.
• 이 방법은 하이퍼파라미터 변동에 강건하다: q0, ω0, ζ1,0, η1,0의 다양한 설정에서도 누적 손실이 안정적으로 유지되어 실용적 신뢰성을 시사한다.
• 개별 사례별 변동이 덜 희소하거나 잘 정렬되지 않을 경우 성능이 저하되지만, 최악의 시나리오에서도 추정기는 경쟁 가능한 정확도를 유지한다.
• 실증 결과에 따르면, 변동 크기가 중간 이상일 경우 RMEstimator는 풀링 방법보다 뛰어나며, 근사적인 희소성 조건에서도 효과를 유지한다.