[논문 리뷰] Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting

Rui Wang, Robin Walters외 1명|arXiv (Cornell University)|2022. 06. 19.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 비-stationary, 비-i.i.d. 시계열에서 역학 예측에 대한 데이터 증강과 동치성 네트워크의 이론적 비교를 제공한다. 일반화 경계를 유도하여 동치성 네트워크가 데이터 증강보다 더 날카로운 경계를 달성함을 보이며, 대칭이 완벽하지 않을 경우 학습된 동치성 오차 항을 통해 과적합을 줄여주는 약간의 동치성 모델이 일반화 성능을 더욱 향상시킴을 밝힌다.

ABSTRACT

Exploiting symmetry in dynamical systems is a powerful way to improve the generalization of deep learning. The model learns to be invariant to transformation and hence is more robust to distribution shift. Data augmentation and equivariant networks are two major approaches to injecting symmetry into learning. However, their exact role in improving generalization is not well understood. In this work, we derive the generalization bounds for data augmentation and equivariant networks, characterizing their effect on learning in a unified framework. Unlike most prior theories for the i.i.d. setting, we focus on non-stationary dynamics forecasting with complex temporal dependencies.

연구 동기 및 목표

• 비정상적 역학 예측에서 데이터 증강과 동치성 네트워크의 일반화 성능을 이론적으로 비교하는 것.
• 시간적 비-i.i.i.d. 설정에서 대칭 기반 방법에 대한 이론적 이해의 부족을 해결하는 것.
• 동치성 네트워크 또는 데이터 증강이 더 나은 일반화를 보이는 조건을 규명하는 것.
• 실제 데이터에서의 근사 대칭이 모델의 일반화에 미치는 영향을 분석하는 것.
• 비정상성, 시간적 의존성, 시계열의 대칭 구조를 고려한 일반화 경계를 유도하는 것.

제안 방법

• 비균일한 가중치를 갖는 시계열에 적합한 수정된 라데마처 복잡도를 사용하여 데이터 증강의 일반화 경계를 유도한다.
• 일반화 오차 감소에 기여하는 데이터 증강의 이점을 정량화하기 위해 변동성 감소 항 Δ를 도입한다.
• 가설 공간 내의 군-동치성 제약 조건을 활용하여 엄격하게 동치성 네트워크의 일반화 경계를 제안한다.
• 학습된 동치성 오차 항(‖θ̂_AE‖_EE)을 포함한 근사 동치성 네트워크에 대한 새로운 일반화 경계를 제안한다.
• 손실 함수의 리프시츠 연속성과 워샤르 거리(Wasserstein distance)를 사용하여 대칭 위반에 의한 테스트 오차 영향을 경계한다.
• 데이터 증강에 존재하는 편향 항이 없기 때문에 동치성 네트워크 경계가 더 날카로운 것을 보여줌으로써 방법 간 경계를 비교한다.

실험 결과

연구 질문

• RQ1 비정상적, 비-i.i.i.d. 시계열에서 데이터 증강과 동치성 네트워크의 일반화 경계는 어떻게 비교되는가?
• RQ2 언제 동치성 네트워크의 일반화 성능이 데이터 증강을 초월하는가?
• RQ3 불완전하거나 노이즈가 있는 대칭이 존재할 경우 근사 동치성이 일반화에 어떤 영향을 미치는가?
• RQ4 실제 데이터에서 불완전한 대칭이 존재할 때 동치성 오차 항은 일반화 향상에 어떤 역할을 하는가?
• RQ5 이론적 경계는 근사 동치성 모델이 역학 예측에서 경험적으로 성공한 이유를 설명할 수 있는가?

주요 결과

• 데이터 증강 경계에 존재하는 편향 항이 없기 때문에 동치성 네트워크가 데이터 증강보다 더 날카로운 일반화 상한을 달성한다.
• 데이터 증강의 일반화 경계에는 샘플과 그 군 변환된 버전 간의 기대 워샤르 거리에 비례하는 항이 포함되어 있으며, 이는 완벽한 대칭일 때에만 사라진다.
• 대칭이 불완전할 경우 근사 동치성 네트워크가 데이터 증강과 엄격한 동치성 모델보다 더 나은 일반화 경계를 달성한다. 이는 음수 항 −‖q‖₁‖θ̂_AE‖_EE 덕분이다.
• 모집단 최소화자에 대한 경험적 오차 ξ가 작을 경우, 근사 동치성 모델의 일반화 성능은 학습된 동치성 오차 ‖θ̂_AE‖_EE가 진짜 값에 가까워질수록 크게 향상된다.
• 이론적 분석은 근사 대칭이 존재하는 상황에서 완벽한 동치성을 강제하는 것이 과도한 제약을 초래하고 일반화 성능을 악화시킬 수 있음을 보여준다. 특히 실세계 데이터에서는 더욱 그렇다.
• 유도된 경계는 비정상적, 비혼합 시계열에 대해 유효하며, 예측의 관련성을 반영하기 위해 시간에 따라 변하는 가중치 q_t를 포함하므로 실용적인 역학 예측에 적합하다.