[논문 리뷰] Adaptive Online Estimation of Piecewise Polynomial Trends

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|2020. 01. 01.

Advanced Bandit Algorithms Research인용 수 2

한 줄 요약

이 논문은 노이즈가 있는 기울기 피드백 하에서 조각다항식 추세를 추정하기 위한 적응형 온라인 학습 알고리즘을 제안한다. 총 변동성 기반의 변분 제약을 도입함으로써, 사전 지식이 없는 상태에서 알려지지 않은 매끄러움 정도에 적응적으로 조정되며, 동적 리그레트의 거의 최적의 값을 $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$로 달성한다. 이는 여러 비모수적 가족에 걸쳐 최소 최대 최적성으로 확장된다.

ABSTRACT

We consider the framework of non-stationary stochastic optimization [Besbes et al, 2015] with squared error losses and noisy gradient feedback where the dynamic regret of an online learner against a time varying comparator sequence is studied. Motivated from the theory of non-parametric regression, we introduce a new variational constraint that enforces the comparator sequence to belong to a discrete $k^{th}$ order Total Variation ball of radius $C_n$. This variational constraint models comparators that have piece-wise polynomial structure which has many relevant practical applications [Tibshirani, 2014]. By establishing connections to the theory of wavelet based non-parametric regression, we design a polynomial time algorithm that achieves the nearly optimal dynamic regret of $ ilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$. The proposed policy is adaptive to the unknown radius $C_n$. Further, we show that the same policy is minimax optimal for several other non-parametric families of interest.

연구 동기 및 목표

• 시간에 따라 변화하는 비교자와 함께 비정상적인 확률적 최적화에서 동적 리그레트를 다루기 위해.
• 이산 $k^{\text{th}}$ 차 총 변동성 구역 제약을 사용하여 비교자에 조각다항식 구조를 모델링하기 위해.
• 비교자 수열의 알려지지 않은 매끄러움 정도(반지름 $C_n$)에 적응하는 다항식 시간 알고리즘을 설계하기 위해.
• 노이즈가 있는 피드백 하에서 비모수적 추세 추정에 대해 거의 최적의 동적 리그레트를 달성하기 위해.
• 조각다항식을 초월하는 여러 비모수적 가족에 걸쳐 최소 최대 최적성을 확립하기 위해.

제안 방법

• 비교자 수열이 반지름 $C_n$인 이산 $k^{\text{th}}$ 차 총 변동성 구역 내에 있도록 하는 변분 제약을 도입하여, 조각다항식 추세를 모델링한다.
• 웨이브렛 기반 비모수적 회귀와의 연결을 활용하여 계산 효율적인 온라인 정책을 설계한다.
• 사전 지식 없이 알려지지 않은 $C_n$에 적응하도록 조정하는 새로운 적응형 정규화 기법을 활용한다.
• 알고리즘 성능의 이론적 분 析를 통해 $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$의 동적 리그레트 한계를 유도한다.
• 웨이브렛 임계치 기반 원칙을 활용하여 비교자 수열을 근사하면서도 계산 가능성을 유지한다.
• 변분 제약의 구조적 유사성을 활용하여, 알고리즘이 여러 비모수적 함수 클래스에서 최소 최대 최적성을 유지함을 보장한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 기울기 피드백 하에서 조각다항식 추세에 대해 온라인 학습 알고리즘이 거의 최적의 동적 리그레트를 달성할 수 있는가?
• RQ2 시간에 따라 변화하는 비교자와 함께 비정상 최적화에서 알려지지 않은 매끄러움 정도(즉, 알려지지 않은 $C_n$)에 대해 어떻게 적응할 수 있는가?
• RQ3 어떤 변분 제약 조건이 조각다항식 구조를 효과적으로 모델링하면서도 계산 효율성을 보장하는가?
• RQ4 제안된 알고리즘이 조각다항식을 초월하는 더 넓은 범위의 비모수적 함수 클래스에 대해 최소 최대 최적성인가?
• RQ5 웨이브렛 기반 비모수적 회귀와 온라인 동적 리그레트 최소화 사이에 어떤 연결 고리가 있는가?

주요 결과

• 제안된 알고리즘은 $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$의 동적 리그레트 한계를 달성하며, 이는 $k^{\text{th}}$ 차 조각다항식 추세에 대해 거의 최적이다.
• 알고리즘은 알려지지 않은 반지름 $C_n$에 대해 적응적이며, 비교자 수열의 매끄러움 수준에 대한 사전 지식이 필요하지 않다.
• 동일한 정책은 여러 다른 비모수적 가족에 대해 최소 최대 최적성을 달성하며, 광범위한 적용 가능성을 시사한다.
• $k^{\text{th}}$ 차 총 변동성 제약의 사용은 실용적 응용에서 관련성이 높은 조각다항식 구조를 효과적으로 모델링한다.
• 이론적 분석을 통해 리그레트 한계가 로그 인자 외에는 타당하게 날카롭게 유지됨을 확인하였으며, 문헌에 알려진 하한값과 일치한다.
• 웨이브렛 기반 회귀와의 연결은 온라인 추정에서 통계적 정확성과 계산 효율성을 동시에 확보한다.