[논문 리뷰] A Local Regret in Nonconvex Online Learning

Sergül Aydöre, Lee H. Dicker외 1명|arXiv (Cornell University)|2018. 11. 13.

Advanced Bandit Algorithms Research참고 문헌 5인용 수 3

한 줄 요약

이 논문은 비볼록 온라인 학습을 위한 새로운 局소 손실 정의를 제안하며, 校정성과 최근 기울기의 중요성을 강조한다. Hazan의 접근과는 달리 즉각적인 예측 성능에 초점을 맞춘다. 특정 조건 하에서 로그 손실 경계를 증명하여, 비볼록 손실 함수를 갖는 예측 모델에 대해 더 해석 가능하고 이론적으로 타당한 지표를 제공한다.

ABSTRACT

We consider an online learning process to forecast a sequence of outcomes for nonconvex models. A typical measure to evaluate online learning algorithms is regret but such standard definition of regret is intractable for nonconvex models even in offline settings. Hence, gradient based definition of regrets are common for both offline and online nonconvex problems. Recently, a notion of local gradient based regret was introduced. Inspired by the concept of calibration and a local gradient based regret, we introduce another definition of regret and we discuss why our definition is more interpretable for forecasting problems. We also provide bound analysis for our regret under certain assumptions.

연구 동기 및 목표

• 비볼록 온라인 학습에서 전역 손실의 비가역성 문제를 해결하기 위해 더 해석 가능한 국소 손실 측정법을 제안한다.
• 비볼록 예측 문제에 대한 손실 분석에 校정성 개념을 통합한다.
• 온라인 학습에서 일반적인 가정 하에 제안된 손실에 대한 이론적 경계를 제공한다.
• 새로운 손실 정의를 최소화하는 효율적인 알고리즘 개발을 촉진한다.

제안 방법

• 기울기 방향과 방향성 편향 간의 내적을 바탕으로 한 w-국소 손실을 제안하여 국소 예측 안정성을 캡처한다.
• 손실를 크기 w의 슬라이딩 윈도우 내에서 방향 기울기 곱의 평균의 제곱 노름으로 정의한다.
• 테일러 근사와 사영 연산자를 사용하여 매개변수 공간 내의 편향을 모델링하고, 볼록 도메인 K 내에서의 타당성을 보장한다.
• 수렴과 손실 경계 유도를 위해 감소하는 학습률 ηt = η/√t를 사용하는 기울기 하강법을 적용한다.
• 기울기 노름, 스텝 크기, 리프시츠 상수를 포함한 부등식을 사용하여 이론적 경계를 유도한다.
• 세 가지 시나리오를 분석한다: 고정 윈도우와 일정 학습률, 감소 학습률과 전체 이력 윈도우, 감소 학습률과 고정 윈도우.

실험 결과

연구 질문

• RQ1 비볼록 온라인 학습, 특히 예측 맥락에서 더 해석 가능한 손실 측정법은 어떻게 정의할 수 있는가?
• RQ2 제안된 손실이 Hazan의 기울기 기반 국소 손실에 비해 해석 가능성과 현재 성능에 대한 집중도에서 어떻게 향상되는가?
• RQ3 제안된 손실이 시간 T에 대해 비선형 또는 로그 성장률을 보이기 위한 조건은 무엇인가?
• RQ4 교정 개념의 통합이 손실 측정법의 이론적 성질에 어떤 영향을 미치는가?

주요 결과

• 감소하는 학습률(ηt = η/√t)과 전체 이력 윈도우(w = t)를 사용할 경우, 제안된 손실은 O(log T)의 로그 경계를 달성한다.
• 고정 윈도우 크기 w와 감소 학습률 조건에서 손실은 T에 대해 제곱형으로 증가하지만, w를 증가시킴으로써 비선형으로 만들 수 있다.
• 일정 학습률과 고정 윈도우 조건에서 손실은 O(T / w²)로 유계이며, w가 T와 함께 증가할 경우 비선형이 된다.
• 이론적 분석 결과, 내적 항 ∑⟨Du(xs), ∇fs(xs)⟩는 M, G, η를 포함한 음수 표현으로 아래bound되어 있으며, 이는 손실 경계 유도에 기여한다.
• 경계 유도는 누적 기울기 방향과 일치하는 최적의 방향 u를 선택하는 데 의존하며, 이로 인해 손실 표현이 엄격하게 제어된다.
• 논문은 이 새로운 손실을 최소화하는 알고리즘이 비볼록 온라인 예측에 더 효율적이고 적합할 수 있다고 추측한다.