[논문 리뷰] Online Learning with Local Permutations and Delayed Feedback

Ohad Shamir, Liran Szlak|arXiv (Cornell University)|2017. 03. 13.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 4

한 줄 요약

이 논문은 지연된 피드백 환경에서의 온라인 학습을 향상시키기 위해 지역 순열을 허용하는 OLLP(Online Learning with Local Permutations) 프레임워크를 소개한다. 이 프레임워크는 손실 함수를 거리 M 이내로 재정렬함으로써 최소화된 손실을 달성한다. 이에 기반한 미러-강하 기반 알고리즘은 $ M \geq \tau $ 일 때 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ 의 손실 한계를 달성하며, 이는 공격적 환경에서의 $ O(\sqrt{\tau T}) $ 와 스토하스틱 환경에서의 $ O(\sqrt{T}) $ 성능 사이를 보간한다. 또한 $ M < \tau/3 $ 일 때는 향상이 불가능하다는 하한선을 제시함으로써 이론적 근거를 제공한다.

ABSTRACT

We propose an Online Learning with Local Permutations (OLLP) setting, in which the learner is allowed to slightly permute the \emph{order} of the loss functions generated by an adversary. On one hand, this models natural situations where the exact order of the learner's responses is not crucial, and on the other hand, might allow better learning and regret performance, by mitigating highly adversarial loss sequences. Also, with random permutations, this can be seen as a setting interpolating between adversarial and stochastic losses. In this paper, we consider the applicability of this setting to convex online learning with delayed feedback, in which the feedback on the prediction made in round $t$ arrives with some delay $τ$. With such delayed feedback, the best possible regret bound is well-known to be $O(\sqrt{τT})$. We prove that by being able to permute losses by a distance of at most $M$ (for $M\geq τ$), the regret can be improved to $O(\sqrt{T}(1+\sqrt{τ^2/M}))$, using a Mirror-Descent based algorithm which can be applied for both Euclidean and non-Euclidean geometries. We also prove a lower bound, showing that for $M

연구 동기 및 목표

• 지연된 피드백 환경에서의 높은 손실 한계 문제를 다루며, 표준 손실 한계가 공격적 환경에서 $ O(\sqrt{\tau T}) $ 임을 고려한다.
• 손실 시퀀스를 국소 순열 제약 조건 내에서 약간 재정렬하는 것이 악성 공격적 행동을 완화하고 학습 성능을 향상시킬 수 있는지 탐색한다.
• 공격적 및 스토하스틱 온라인 학습 사이의 격차를 메우기 위해 두 극단 사이를 보간하는 민첩한 프레임워크를 도입한다.
• 국소 순열의 이점에 대한 이론적 한계를 규명하기 위해, $ M < \tau/3 $ 일 때는 유의미한 향상이 불가능하다는 하한선을 증명한다.
• 제안된 알고리즘을 실증적으로 검증하여 지연된 피드백 환경 하에서 실제 성능 향상이 가능함을 입증한다.

제안 방법

• 학습자가 $ \max_t |t - \sigma(t)| \leq M $ 를 만족하는 방식으로 손실 함수를 재정렬할 수 있는 '지연된 피드백 환경에서의 국소 순열 온라인 학습(Optimal Learning with Local Permutations, OLLP)' 설정을 제안한다.
• 지연된 피드백과 국소 순열을 처리할 수 있도록 조정된 온라인 미러-강하 기반 알고리즘인 '지연된 순열 미러-강하 알고리즘'을 설계한다.
• 시퀀스를 $ \tau/3 $ 크기의 블록으로 분할하여 분석함으로써, 농도 불등식과 조건부 기대값을 적용할 수 있도록 한다.
• 키힌체의 부등식을 적용하여 최적의 고정 예측자에 대한 손실 기대값을 상한선으로 제시하며, $ M < \tau/3 $ 일 때 $ \Omega(\sqrt{\tau T}) $ 의 손실 하한선을 증명한다.
• 제안된 알고리즘의 손실 한계가 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ 로 스케일링됨을 확립하며, $ M $ 이 $ \tau $ 를 초과할수록 성능 향상이 이루어짐을 보여준다.
• 특히 $ M \geq \tau $ 일 때, 손실 한계가 공격적 환경의 $ O(\sqrt{\tau T}) $ 와 스토하스틱 환경의 $ O(\sqrt{T}) $ 사이를 보간함을 확인한다.

실험 결과

연구 질문

• RQ1 지역 순열을 통한 손실 함수 재정렬이 지연된 피드백 환경에서의 손실 한계 향상에 기여할 수 있는가?
• RQ2 국소 순열을 통한 최적의 손실 한계 향상은 무엇이며, 이는 순열 반경 $ M $ 에 따라 어떻게 달라지는가?
• RQ3 국소 순열의 이점에 대한 본질적 한계가 존재하는가? 만약 존재한다면, 어떤 $ M $ 값 이하에서는 더 이상 유의미한 향상이 이루어지지 않는가?
• RQ4 제안된 알고리즘이 지연된 피드백 환경 하에서 공격적 및 스토하스틱 설정 사이를 보간하는 손실 한계를 달성할 수 있는가?
• RQ5 이론적 손실 한계 $ O(\sqrt{T}(1 + \sqrt{\tau^2/M})) $ 는 유클리드 기하학 뿐만 아니라 비유클리드 기하학에서도 성립하는가?

주요 결과

• 특히 $ M \geq \tau $ 일 때, 제안된 지연된 순열 미러-강하 알고리즘이 기대 손실 한계 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ 를 달성하며, 이는 표준 $ O(\sqrt{\tau T}) $ 보다 향상된 성능을 보인다.
• 특히 $ M = \tau $ 일 때, 손실 한계는 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/\tau})\right) = O\left(\sqrt{T}(1 + \tau)\right) $ 로 줄어들며, $ \tau $ 가 증가함에 따라 스토하스틱 환경에 가까워진다.
• 손실 한계는 $ M $ 이 $ \tau $ 와 비교하여 어떤 값을 가지느냐에 따라 공격적 환경의 $ O(\sqrt{\tau T}) $ 와 스토하스틱 환경의 $ O(\sqrt{T}) $ 사이를 보간한다.
• 하한선을 증명하여 $ M < \tau/3 $ 일 때는 어떤 알고리즘도 $ \Omega(\sqrt{\tau T}) $ 보다 우수한 손실 한계를 달성할 수 없음을 보이며, 이는 향상의 본질적 한계를 시사한다.
• 분석 결과, 국소 순열의 성능 향상은 $ M \geq \tau $ 일 때에만 비현저하게 나타나며, $ M $ 이 너무 작아지면 급격히 감소함을 확인한다.
• 실험 결과는 알고리즘의 성능이 실제로 지연된 피드백 환경 하에서도 이론적 성과를 달성함을 입증한다.