[논문 리뷰] Majorizing Measures, Sequential Complexities, and Online Learning

Adam Block, Yuval Dagan외 1명|arXiv (Cornell University)|2021. 02. 02.

Computability, Logic, AI Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 주요 측도와 순차적 라데마처 복잡도 사이의 새로운 연결을 수립하며, 분수 커버링 수와 순차적 척도 민감 차원을 통한 수렴 시간에 종속되지 않는 순차적 복잡도 통제를 제안한다. 최악의 경우 순차적 라데마처 복잡도에 대해 날카로운 압축 부등식을 증명하여 오랜 기간 동안 미해결이었던 온라인 학습 분야의 열린 문제를 해결하고, 고전적 경험 과정 이론을 순차적 설정으로 확장하여 정적 적인 경계를 제공한다.

ABSTRACT

We introduce the technique of generic chaining and majorizing measures for controlling sequential Rademacher complexity. We relate majorizing measures to the notion of fractional covering numbers, which we show to be dominated in terms of sequential scale-sensitive dimensions in a horizon-independent way, and, under additional complexity assumptions establish a tight control on worst-case sequential Rademacher complexity in terms of the integral of sequential scale-sensitive dimension. Finally, we establish a tight contraction inequality for worst-case sequential Rademacher complexity. The above constitutes the resolution of a number of outstanding open problems in extending the classical theory of empirical processes to the sequential case, and, in turn, establishes sharp results for online learning.

연구 동기 및 목표

• 고전적 경험 과정 이론을 순차적 설정으로 확장하기 위해 순차적 라데마처 복잡도를 분석하기 위한 프레임워크를 개발하는 것.
• 주요 측도를 사용하여 최악의 경우 순차적 라데마처 복잡도를 날카롭게 통제하여 온라인 학습 분야의 열린 문제를 해결하는 것.
• 수렴 시간에 종속되지 않는 방식으로 순차적 복잡도를 분수 커버링 수와 순차적 척도 민감 차원과 연결하는 것.
• 고전적 가우시안 과정 결과에 대응하는 날카로운 압축 부등식을 순차적 라데마처 복잡도에 대해 증명하는 것.
• 통일된 복잡도 이론적 프레임워크를 통해 온라인 학습, 개인 정보 보호 학습, 공격에 대한 강건성 분야의 기존 결과들을 통합하고 강화하는 것.

제안 방법

• 온라인 학습 설정에서 순차적 라데마처 복잡도를 통제하기 위해 일반 체이닝과 주요 측도의 사용을 도입한다.
• 순차적 과정에 대한 분수 커버링 수를 정의하고 분석하여, 수렴 시간에 종속되지 않는 방식으로 순차적 척도 민감 차원에 의해 지배됨을 보인다.
• 순차적 지방 쇄기 차원의 적분이 최악의 경우 순차적 라데마처 복잡도를 상수 배수 이내로 통제함을 증명한다.
• 순차적 라데마처 복잡도에 대해 날카로운 압축 부등식을 유도하여, 이가 보편 상수에 대해 날카로운 것을 증명한다.
• 이론을 적용하여 균일 마틴게일 대법칙과 온라인 학습에서의 최소 최대 손실을 경계한다.
• 측도의 재귀적 구성과 트리 기반 분석을 사용하여 이진 트리 위에서 커버링 수의 로그 적분을 경계한다.

실험 결과

연구 질문

• RQ1 주요 측도를 사용하여 온라인 학습 설정에서 순차적 라데마처 복잡도를 통제할 수 있는가?
• RQ2 분수 커버링 수와 순차적 척도 민감 차원 사이에 수렴 시간에 종속되지 않는 관계가 존재하는가?
• RQ3 순차적 지방 쇄기 차원의 적분을 사용하여 최악의 경우 순차적 라데마처 복잡도를 날카롭게 경계할 수 있는가?
• RQ4 고전적 가우시안 경우에 대응하는 날카로운 압축 부등식이 순차적 라데마처 복잡도에 존재하는가?
• RQ5 이 이론은 온라인 학습, 개인 정보 보호 학습, 공격에 대한 강건성 분야의 결과들을 통합하고 강화할 수 있는가?

주요 결과

• 최악의 경우 순차적 라데마처 복잡도는 단위 구간 위에서 순차적 지방 쇄기 차원의 제곱근 적분에 상수 배수로 경계된다.
• 순차적 과정에 대한 분수 커버링 수는 수렴 시간과 무관하게 순차적 척도 민감 차원의 적분에 의해 지배된다.
• 순차적 라데마처 복잡도에 대해 날카로운 압축 부등식이 확립되었으며, 이는 보편 상수에 대해 날카로운 것을 보여준다.
• 이론은 순차적 지방 쇄기 차원에 기반한 수렴 시간에 종속되지 않는 복잡도 측정을 제공함으로써 온라인 학습 분야의 열린 문제를 해결한다.
• 결과는 온라인 학습에서 최소 최대 손실과 균일 마틴게일 대법칙에 대해 날카로운 경계를 암시하며, 개인 정보 보호 학습과 공격에 대한 강건성에의 응용이 가능하다.
• 이 프레임워크는 고전적 경험 과정 이론을 순차적 경우로 확장하여, 마틴게일 과정에 대해 덕리의 체이닝과 페르니크-탈라그랑드 경계의 완전한 이론적 대응을 제공한다.