[논문 리뷰] Learning from weakly dependent data under Dobrushin's condition

Yuval Dagan, Constantinos Daskalakis외 2명|arXiv (Cornell University)|2019. 06. 21.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 도브루시닌 조건을 만족하는 약한 의존성 데이터를 학습하는 가설 클래스에 대해 일반화 및 학습 경계를 수립하며, 라데마처 및 가우시안 복잡도와 같은 표준 복잡도 측정법이 여전히 효과적임을 보여준다. 경계는 i.i.d. 설정과 비교해 상수 인자로만 열악해지며, 복잡한 의존성이 있는 공간적 또는 네트워크 구조 데이터에서도 신뢰할 수 있는 학습이 가능하다.

ABSTRACT

Statistical learning theory has largely focused on learning and generalization given independent and identically distributed (i.i.d.) samples. Motivated by applications involving time-series data, there has been a growing literature on learning and generalization in settings where data is sampled from an ergodic process. This work has also developed complexity measures, which appropriately extend the notion of Rademacher complexity to bound the generalization error and learning rates of hypothesis classes in this setting. Rather than time-series data, our work is motivated by settings where data is sampled on a network or a spatial domain, and thus do not fit well within the framework of prior work. We provide learning and generalization bounds for data that are complexly dependent, yet their distribution satisfies the standard Dobrushin's condition. Indeed, we show that the standard complexity measures of Gaussian and Rademacher complexities and VC dimension are sufficient measures of complexity for the purposes of bounding the generalization error and learning rates of hypothesis classes in our setting. Moreover, our generalization bounds only degrade by constant factors compared to their i.i.d. analogs, and our learnability bounds degrade by log factors in the size of the training set.

연구 동기 및 목표

• 공간적 또는 네트워크 구조적 도메인에서 비-i.i.d. 데이터에 대한 통계적 학습 이론의 격차를 메운다.
• 데이터 의존성이 도브루시닌 조건을 만족할 때 표준 복잡도 측정법이 일반화 오차를 경계하는 데 유효한지 조사한다.
• i.i.d. 설정과 비교해 상수 또는 로그 인자로만 열악해지는 학습 및 일반화 경계를 제공한다.
• 기존 학습 이론을 시간 시리즈나 에르고딕 과정을 초월해 공간적 및 네트워크 데이터와 복잡한 의존성을 가진 영역으로 확장한다.
• 이 새로운 설정에서 VC 차원과 라데마처/가우시안 복잡도가 충분한 복잡도 측정법임을 보여준다.

제안 방법

• 도브루시닌 조건를 사용해 데이터 의존성 구조를 수학적으로 정의하며, 이는 확률적 프레임워크 내에서 약한 의존성을 정량화한다.
• 도브루시닌 조건 하의 약한 의존성 설정에 라데마처 및 가우시안 복잡도 측정법을 적응시킨다.
• 약한 의존성 랜덤 변수에 특화된 농도 부등식을 사용해 일반화 오차 경계를 유도한다.
• 약한 의존성 하에서 경험 리스크 최소화 오차와 복잡도 측정법을 연결함으로써 학습 속도를 확립한다.
• 커플링 접근법과 믹싱 유형 경계를 사용해 경험 평균이 기대값에서 벗어나지 않도록 제어한다.
• 결과 경계가 i.i.d. 경우와 동일한 복잡도 측정법에 기반하며, 상수 또는 로그 인자로만 열악해짐을 보여준다.

실험 결과

연구 질문

• RQ1 라데마처 및 가우시안 복잡도와 같은 표준 복잡도 측정법이 도브루시닌 조건 하에서 일반화 오차를 경계하는 데 사용될 수 있는가?
• RQ2 약한 의존성 데이터의 일반화 및 학습 경계는 i.i.d. 설정과 비교해 얼마나 열악해지는가?
• RQ3 데이터 의존성이 복잡하지만 도브루시닌 조건을 만족할 경우 기존 학습 이론 도구가 얼마나 유효한가?
• RQ4 약한 의존성 하에서 학습 속도에 대해 학습 데이터 크기가 어떤 영향을 미치는가?
• RQ5 공간적 또는 네트워크 기반 데이터에서 약한 의존성이 존재할 경우 VC 차원을 복잡도 측정법으로 사용할 수 있는가?

주요 결과

• 도브루시닌 조건 하에서 일반화 오차 경계는 i.i.d. 경우와 비교해 상수 인자로만 열악해진다.
• 약한 의존성 하에서 가설 클래스의 학습 속도는 i.i.d. 설정과 비교해 학습 세트 크기에 대해 로그 인자로만 열악해진다.
• 라데마처 및 가우시안 복잡도는 이 약한 의존성 설정에서 일반화 오차를 경계하는 데 유효하고 효과적인 복잡도 측정법으로 남아있다.
• VC 차원은 도브루시닌 조건 하에서 학습 가능성의 특성화에 충분하며, i.i.d. 데이터를 초월해 적용 가능성을 확장한다.
• 이 프레임워크는 전통적인 시간 시리즈나 에르고딕 가정이 성립하지 않는 네트워크나 공간 도메인 데이터에 적용 가능하다.
• 이론적 결과는 도브루시닌 조건로 정량화된 약한 의존성이 표준 학습 이론 도구의 효과성에 근본적인 영향을 주지 않는다는 것을 보여준다.