[논문 리뷰] Rademacher complexity of stationary sequences

Daniel J. McDonald, Cosma Rohilla Shalizi|arXiv (Cornell University)|2011. 06. 03.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 9

한 줄 요약

이 논문은 혼합 조건을 필요로 하지 않고, 일반화 경계를 도출하여 정적 시간 시리즈에 대해 Rademacher 복잡도를 확장한다. 기존의 순차적 복잡도 대신 표준 기대 Rademacher 복잡도를 사용함으로써, 예측 위험에 대해 더 날카우며 완전히 계산 가능한 경험적 경계를 제공하며, 정적 조건 하에서 실용적인 모델 선택을 위한 경험적 위험 최소화를 가능하게 한다.

ABSTRACT

We show how to control the generalization error of time series models wherein past values of the outcome are used to predict future values. The results are based on a generalization of standard i.i.d. concentration inequalities to dependent data without the mixing assumptions common in the time series setting. Our proof and the result are simpler than previous analyses with dependent data or stochastic adversaries which use sequential Rademacher complexities rather than the expected Rademacher complexity for i.i.d. processes. We also derive empirical Rademacher results without mixing assumptions resulting in fully calculable upper bounds.

연구 동기 및 목표

• 혼합 조건 없이 시간 시리즈 예측 모델의 일반화 오차를 제어하기 위해 Rademacher 복잡도를 사용한다.
• 혼합 조건이 필요 없는 종속적인 정적 시퀀스로 i.i.d. Rademacher 복잡도 이론을 확장한다.
• 혼합 계수에 의존하지 않고 데이터 기반 추정을 통해 계산 가능한 경험적 Rademacher 복잡도 경계를 도출한다.
• 순차적 복잡도나 적대적 분석이 필요 없도록 하여 기존의 경계를 단순화하고 날카럽게 개선한다.

제안 방법

• 모델 클래스의 유연성 측도로 표준 기대 Rademacher 복잡도를 사용하며, 이를 정적 시간 시리즈에 적응시킨다.
• 혼합되지 않은 종속 데이터에 대한 농도 부등식을 적용하여 예측 위험을 경계한다.
• 혼합 계수에 의존하지 않고 데이터 기반 추정을 통해 경험적 Rademacher 복잡도 경계를 유도한다.
• Rakhlin 등(2012)의 온라인 학습 기법을 활용하지만, 정적 조건을 활용하여 순차적 복잡도를 피함으로써 이를 단순화한다.
• 훈련 오차에 경험적 Rademacher 복잡도를 더한 기반으로 예측자를 선택하는 일반적인 ERM 알고리즘을 제안한다.
• 리프시츠 및 노름 제약 조건 하에서 2층 신경망과 커널 방법에 대해 닫힌 형태의 경계를 제공한다.

실험 결과

연구 질문

• RQ1 혼합 조건 없이 표준 Rademacher 복잡도를 사용하여 정적 시간 시리즈의 예측 위험을 경계할 수 있는가?
• RQ2 종속적인 시간 시리즈에서 경험적 Rademacher 복잡도는 어떻게 계산하고 모델 선택에 활용할 수 있는가?
• RQ3 시간 시리즈 예측에서 순차적 복잡도 대신 기대 Rademacher 복잡도를 사용할 경우의 의미는 무엇인가?
• RQ4 혼합 조건이나 커버링 수를 기반으로 한 이전 연구에 비해, 이러한 경계는 날카롭고 계산 가능성이 얼마나 높은가?
• RQ5 이러한 경계에서 이론적으로 타당하고 계산적으로 실현 가능한 실용적 알고리즘을 도출할 수 있는가?

주요 결과

• 논문은 혼합 조건 없이 정적 조건 하에서 표준 기대 Rademacher 복잡도를 사용하여 예측 위험에 대한 일반화 경계를 도출한다.
• 이전의 순차적 Rademacher 복잡도 또는 적대적 분석을 사용한 결과보다 더 날카롭고 단순한 경계를 제공한다.
• 경험적 Rademacher 복잡도는 데이터로부터 완전히 계산 가능하므로, 경험적 위험 최소화를 통한 실용적 모델 선택이 가능하다.
• 1-리프시츠 활성화 함수와 유한한 가중치를 갖는 2층 신경망의 경우, 경험적 Rademacher 복잡도는 $ O_{\mathbb{P}}(n^{-1/2}) $ 으로 유계이다.
• M-리프시츠 손실과 특성 공간에서 유한한 노름을 갖는 정규화된 커널 방법의 경우, 경험적 Rademacher 복잡도는 $ O_{\mathbb{P}}(n^{-1/2}) $ 이다.
• 경험적 위험과 경험적 Rademacher 복잡도의 합을 기반으로 모델을 선택하는 일반적인 ERM 알고리즘이 제안되었으며, 완전히 계산 가능한 일반화 경계를 제공한다.