[논문 리뷰] Nonstationary Nonparametric Online Learning: Balancing Dynamic Regret and Model Parsimony

Amrit Singh Bedi, Alec Koppel외 2명|arXiv (Cornell University)|2019. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 51인용 수 7

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 압축 커널 방법을 사용하여 비정상적이고 비선형 데이터에 대한 메모리 효율적인 온라인 학습 프레임워크를 제안한다. 기능적 온라인 경사 하강법과 탐욕적 부분공간 투영을 조합함으로써, 손실 변동성과 기능 경로 길이의 관점에서 하한선을 초과하는 동적 위험 성장률을 달성하면서도, 제한된 모델 복잡도를 유지한다—이를 통해 개념 이동 상황에서도 확장 가능하고 적응 가능한 비모수적 학습이 가능하다.

ABSTRACT

An open challenge in supervised learning is \emph{conceptual drift}: a data point begins as classified according to one label, but over time the notion of that label changes. Beyond linear autoregressive models, transfer and meta learning address drift, but require data that is representative of disparate domains at the outset of training. To relax this requirement, we propose a memory-efficient \emph{online} universal function approximator based on compressed kernel methods. Our approach hinges upon viewing non-stationary learning as online convex optimization with dynamic comparators, for which performance is quantified by dynamic regret. Prior works control dynamic regret growth only for linear models. In contrast, we hypothesize actions belong to reproducing kernel Hilbert spaces (RKHS). We propose a functional variant of online gradient descent (OGD) operating in tandem with greedy subspace projections. Projections are necessary to surmount the fact that RKHS functions have complexity proportional to time. For this scheme, we establish sublinear dynamic regret growth in terms of both loss variation and functional path length, and that the memory of the function sequence remains moderate. Experiments demonstrate the usefulness of the proposed technique for online nonlinear regression and classification problems with non-stationary data.

연구 동기 및 목표

• 시간이 지남에 따라 데이터 분포가 변화하는 비정상적 환경에서의 개념 이동 문제를 다루며, 특히 비선형 및 비모수적 설정에서의 도전 과제를 해결한다.
• 이전의 방법들이 오프라인 데이터나 도메인 이동에 대한 사전 지식이 필요로 하는 한계를 극복한다.
• 선형 또는 비모수적 가정 없이도 낮은 위험을 유지할 수 있는 메모리 효율적인 온라인 알고리즘을 개발한다.
• 동적 위험 최소화와 모델의 단순성 간의 균형을 통해 실시간 응용 분야에서의 확장 가능성을 확보한다.
• 압축된 표현을 사용하는 커널 방법을 통해 비정상적 환경에서 보편적인 함수 근사가 가능하도록 한다.

제안 방법

• 비정상적 온라인 학습을 동적 비교자와 함께 온라인 볼록 최적화 문제로 공식화하며, 재생 커널 힐버트 공간(RKHS) 내에서 기능적 행동을 사용한다.
• 각 시간 단계에서 순시 손실 기울기 기반으로 함수 추정치를 업데이트하기 위해 기능적 온라인 경사 하강법(OGD)의 변형을 적용한다.
• 시간이 지남에 따라 모델 성장률이 무한히 증가하지 않도록 하기 위해, 커널 함수의 압축된 사전을 유지하기 위해 탐욕적 부분공간 투영을 도입한다.
• 새로운 사전 점을 추가할 때는 기존 부분공간으로부터 충분히 떨어져 있을 경우에만, 압축 예산 $\epsilon$ 으로 제어되는 커널 수직 매칭 퇴치(KOMP) 알고리즘을 사용하여 선택한다.
• 커버링 수와 손실의 리프시츠 연속성으로 모델 순서를 유한하게 제한함을 보이며, 사전 점의 수가 최대 $O((\eta/\epsilon)^p)$ 비율로 증가함을 증명함으로써 메모리 효율성을 확보한다.
• 손실 변동성과 기능 경로 길이의 관점에서 위험 한계를 유도하며, 미약한 정규성 조건 하에서 하한선 성장률이 보장됨을 증명한다.

실험 결과

연구 질문

• RQ1 오프라인 데이터나 도메인 이동에 대한 사전 지식 없이도, 비모수적 온라인 학습 방법이 비정상적 환경에서 하한선을 초과하는 동적 위험 성장을 달성할 수 있는가?
• RQ2 무한차원 함수 공간에서 기능적 온라인 학습의 모델 복잡도는 어떻게 제어할 수 있는가?
• RQ3 압축 예산 $\epsilon$, 스텝 사이즈 $\eta$, 그리고 커널 기반 모델의 최대 사전 점 수 사이의 관계는 무엇인가?
• RQ4 기능적 OGD와 탐욕적 투영이 후행적으로 가장 우수한 시간에 따라 변하는 함수에 비해 성능을 얼마나 유지하는가?
• RQ5 제안된 방법은 시간에 따라 변화하는 데이터 분포를 가진 비선형 회귀 및 분류 과제로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 손실 변동성과 기능 경로 길이의 관점에서 하한선을 초과하는 동적 위험 성장을 달성하며, 시간이 지남에 따라 평균 위험은 점점 사라진다.
• 모델 순서(사전 점 수)는 $O((\eta/\epsilon)^p)$로 유한하게 제한되며, 이는 메모리 효율성과 함께 무한한 성장률 방지를 보장한다.
• 알고리즘은 힐버트 노름 거리로 측정된 현재 부분공간으로부터 충분히 떨어져 있을 경우에만 새로운 커널 함수를 추가함으로써 압축된 표현을 유지한다.
• 위험 한계는 손실의 리프시츠 상수 $C$와 최소 기울기 크기에 의존하며, 모델 확장을 위한 부분공간으로부터의 거리 하한선은 $\epsilon/(\eta CH)$이다.
• 실증 결과는 비정상적 데이터 하에서 온라인 비선형 회귀 및 분류 과제에서 효과성을 입증하며, 동적 환경에서 기준 방법보다 뛰어난 성능을 보였다.
• 이론적 분석은 컴acts한 입력 공간과 연속적 커널 가정 하에서 모델 성장률이 제어됨을 확인하였으며, 유한한 커버링 수가 복잡도의 유한성을 보장한다.