[논문 리뷰] Bounds for Tracking Error in Constant Stepsize Stochastic Approximation

Bhumesh Kumar, Vivek S. Borkar외 1명|arXiv (Cornell University)|2018. 02. 21.

Target Tracking and Data Fusion in Sensor Networks인용 수 1

한 줄 요약

이 논문은 변화하는 목표를 느리게 추적할 때 일정 단계 크기(stepsize)를 갖는 확률적 근사 알고리즘에 대한 비점근적 오차 유계를 수립한다. 아르크세예프 비선형 상수 변화 공식을 사용하여, 모든 유한 시간에 대해 유효한 시간에 관계없이 일관된 오차 유계를 도출함으로써, 온라인 학습 및 적응 제어 시스템에 대한 엄밀한 성능 보장을 제공한다.

ABSTRACT

This work revisits the constant stepsize stochastic approximation algorithm for tracking a slowly moving target and obtains a bound for the tracking error that is valid for all time, using the Alekseev non-linear variation of constants formula.

연구 동기 및 목표

• 일정 단계 크기의 확률적 근사에 대한 유한 시간 성능 유계가 부족한 문제를 해결하기 위해.
• 모든 시간에 대해 유효한 엄밀한 시간에 관계없이 일관된 오차 유계를 제공함으로써 점근적 또는 정상 상태 행동만을 다루는 것과는 다릅니다.
• 고급 미분 방정식 도구를 사용하여 비 i.i.d. 및 시간에 따라 변화하는 조건 하에서의 확률적 근사 이론적 이해를 확장하기 위해.
• 적응 제어, 온라인 학습 및 신호 처리와 같은 실용적 응용 분야에 이론적 기초를 제공하기 위해, 추적 성능이 핵심적인 곳에서.

제안 방법

• 확률적 근사 과정이 그 결정론적 대응체에서 벗어나는 정도를 분석하기 위해 아르크세예프 비선형 상수 변화 공식을 적용한다.
• 잡음은 교란으로 간주하고, 추적 오차를 확률적 궤적과 시간에 따라 변화하는 목표 간의 차이로 모델링한다.
• 기울기 함수의 리프시츠 연속성과 목표의 천천간 변화를 활용하여 기대 추적 오차의 유계를 도출한다.
• 시간에 따라 변화하는 리아푸노프 함수 접근법을 사용하여 오차의 시간에 따른 진화를 제어한다.
• 스텝사이즈, 목표의 변화 속도 및 노이즈 특성에 따라 의존하는 유계를 수립한다.
• 확률적 미분 방정식 및 교란 이론의 결과를 통합하여 비점근적, 시간에 관계없이 일관된 오차 유계를 도출한다.

실험 결과

연구 질문

• RQ1 모든 유한 시간 영역에서 일정 단계 크기의 확률적 근사 알고리즘이 달성할 수 있는 최대 기대 추적 오차는 무엇인가요?
• RQ2 오차 유계는 스텝사이즈, 목표의 변화 속도 및 노이즈 수준에 어떻게 의존하는가요?
• RQ3 비선형 분석 도구를 사용하여 천천간 시간에 따라 변화하는 목표 하에서 확률적 근사에 대해 시간에 관계없이 일관된 오차 유계를 유도할 수 있는가요?
• RQ4 클래식한 마팅게일 또는 리아푸노프 기반 방법과 비교할 때 아르크세예프 공식은 추적 오차의 특성화를 얼마나 향상시키는가요?
• RQ5 유한 시간 분석을 통해 일정 단계 크기 방법에서 추적 정확도와 수렴 속도 사이의 상호 교환 관계를 정량화할 수 있는가요?

주요 결과

• 논문은 모든 유한 시간 순간에 대해 유효한 비점근적, 시간에 관계없이 일관된 기대 추적 오차 유계를 도출한다.
• 유계는 스텝사이즈와 목표의 변화 속도에 대해 선형으로 증가하고, 노이즈 크기 제곱에 비례한다.
• 기울기 함수의 온건한 정규성 조건과 목표의 시간 변화에 대해 유계가 유효하다.
• 아르크세예프 공식의 사용은 표준 선형화 기법보다 오차 동역학의 더 정교한 특성화를 가능하게 한다.
• 결과는 수렴 속도와 추적 정확도가 모두 중요한 실용적 추적 응용에서 스텝사이즈 선택에 대한 이론적 근거를 제공한다.
• 목표가 천천간 비주기적으로 변화하더라도 유계는 그대로 유효하여, 실세계의 비 stationarity 환경로의 적용 범위를 넓힌다.