[논문 리뷰] A Generalization Bound of Deep Neural Networks for Dependent Data

Quan Do, Binh T. Nguyen외 1명|arXiv (Cornell University)|2023. 10. 09.

Stochastic Gradient Optimization TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 비-i.i.d., 비 stationary한 $φ$-mixing 데이터 하에서 피드포워드 딥 네ural 네트워크의 일반화 경계를 수립한다. 기존의 표준 i.i.d. 가정을 완화함으로써, 에피디모로지 및 금융 분야와 같은 종속 데이터 설정으로 일반화 이론을 확장한다. 레데마처 복잡도를 활용하고 약한 의존성과 시간에 따라 변하는 근원 분포를 고려함으로써, 기존 결과를 종속된 데이터 환경으로 확장한 일반화 오차 경계를 유도한다.

ABSTRACT

Existing generalization bounds for deep neural networks require data to be independent and identically distributed (iid). This assumption may not hold in real-life applications such as evolutionary biology, infectious disease epidemiology, and stock price prediction. This work establishes a generalization bound of feed-forward neural networks for non-stationary $ϕ$-mixing data.

연구 동기 및 목표

• 실제 응용에서 흔한 종속적이고 비 stationary한 데이터 상황에서 딥 네럴 네트워크의 일반화 이론 부족 문제를 해결한다.
• 기존 일반화 경계에서 i.i.d. 가정을 완화하여 시간이 지남에 따라 감소하는 종속성을 가지는 $φ$-mixing 수열을 수용하도록 한다.
• 모서리 분포가 하위 가우시안 속도로 목표 분포로 수렴하는 비동일 분포 데이터를 허용한다.
• 이러한 완화된 확률적 가정 하에서 피드포워드 신경망에 대한 균일한 일반화 경계를 유도한다.
• 데이터 종속성이 본질적인 분야, 예를 들어 진화 생물학, 질병 모델링, 금융 시계열에서 이론적 보장을 가능하게 한다.

제안 방법

• 관측치 간 종속성이 시간 간격이 증가함에 따라 감소하는 비 stationary한 $φ$-mixing 확률 과정으로 데이터 생성 과정을 수식화한다.
• 피드포워드 신경망의 가설 공간에서 기대 손실과 경험 손실의 차이를 레데마처 복잡도로 경계한다.
• 혼합 계수 감쇠율 $φ(n) = Ø(1/n)$과 경험 분포와 목표 분포 간 총 변동 거리 $μ_n = Ø(1/√{n})$를 포함하는 새로운 경계를 도입한다.
• 스펙트럼 및 $\ell_{2,1}$-노름이 유계인 가중치 행렬에 대한 유니온 바운드를 사용해 네트워크 파라미터 전반에 걸친 균일 경계를 적용한다.
• 제로-레프티브 유사 활성화 함수를 가지며 가중치 행렬이 유계인 ReLU 유사 네트워크에 대한 레데마처 복잡도 경계를 유도한다.
• 일반화 경계를 마진 기반 오차 분해와 결합하여 분류 오차를 경험 손실과 복잡도 항으로 연결한다.

실험 결과

연구 질문

• RQ1 시간적 종속성이 약한 시계열과 같은 비-i.i.d., 비-stationary 데이터에 대해 딥 네럴 네트워크의 일반화 경계를 확장할 수 있는가?
• RQ2 $φ$-mixing 수열에서 종속성 감쇠가 딥 네럴 네트워크의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 시간에 따라 변하는 근원 분포가 경험 위험의 기대 위험 수렴에 어떤 영향을 미치는가?
• RQ4 약한 종속성과 비동일 분포 하에서 일반화 오차를 경계하기 위해 레데마처 복잡도를 어떻게 적응시킬 수 있는가?
• RQ5 제안된 경계가 데이터가 서로 독립적이고 동일하게 분포할 경우 표준 i.i.d. 경우로 복원되는가?

주요 결과

• 일반화 경계는 비-i.i.d., 비-stationary한 $φ$-mixing 가정 하에서 유도되었으며, 시간에 따라 변하는 종속성을 가진 데이터에 대해 허용한다.
• 경계에 포함된 항 $\frac{1}{n}\sum_{i=1}^{n}\mu_i = \mathcal{O}(1/\sqrt{n})$는 경험 근원 분포가 목표 분포로 수렴하는 것을 반영한다.
• 항 $||\Delta_n||_{\infty} = \mathcal{O}(\log n)$는 혼합 계수를 통해 종속성 구조를 반영하며, 약한 종속성이 일반화에 미치는 영향을 나타낸다.
• 레데마처 복잡도 항은 $\mathcal{O}\left(\frac{\ln n}{n}\right)$로 스케일되며, 네트워크 깊이, 가중치 노름, 활성화 함수의 리프시츠 상수에 명시적인 의존성을 가진다.
• 최종 일반화 오차 경계는 분포 이탈에서 기인한 $\mathcal{O}(1/\sqrt{n})$ 항과 혼합 종속성에서 기인한 $\mathcal{O}(\log n / n)$ 항을 포함한다.
• 데이터가 독립적이고 동일하게 분포할 경우 $\varphi(n) \to 0$ 이고 $\mu_n \to 0$ 이 충분히 빠르게 수렴하면, 경계는 Bartlett 등(2017)의 i.i.d. 경우로 복원된다.