[論文レビュー] Data Augmentation vs. Equivariant Networks: A Theory of Generalization on Dynamics Forecasting

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Jun 19, 2022

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿は、非定常的かつ非i.i.d.な時系列における動的予測の文脈で、データ拡張と等変換ネットワークの理論的比較を提供する。一般化境界を導出し、等変換ネットワークがデータ拡張よりもタイトな境界を達成することを示している。また、対称性が不完全な場合、学習された等変換誤差項により過学習を軽減できるため、近似的に等変換なモデルは一般化性能が向上する。

ABSTRACT

Exploiting symmetry in dynamical systems is a powerful way to improve the generalization of deep learning. The model learns to be invariant to transformation and hence is more robust to distribution shift. Data augmentation and equivariant networks are two major approaches to injecting symmetry into learning. However, their exact role in improving generalization is not well understood. In this work, we derive the generalization bounds for data augmentation and equivariant networks, characterizing their effect on learning in a unified framework. Unlike most prior theories for the i.i.d. setting, we focus on non-stationary dynamics forecasting with complex temporal dependencies.

研究の動機と目的

• 非定常的動的予測におけるデータ拡張と等変換ネットワークの一般化性能を理論的に比較すること。
• 時系列的かつ非i.i.d.な設定における対称性に基づく手法の理論的理解の不足を解消すること。
• 等変換ネットワークやデータ拡張がより良い一般化をもたらす条件を特定すること。
• 現実世界のデータにおける不完全またはノイズ混入した対称性がモデルの一般化に与える影響を分析すること。
• 非定常性、時系列依存性、および時系列における対称性構造を反映した一般化境界を導出すること。

提案手法

• 非一様な重みを備えた時系列に特化した修正ラデマッハ複雑度に基づき、データ拡張の一般化境界を導出する。
• 一般化誤差の低減に寄与するデータ拡張の利点を定量化するための分散低減項Δを導入する。
• 仮説空間における群の等変換制約を活用して、厳密に等変換なネットワークの一般化境界を提案する。
• 学習された等変換誤差項（‖θ̂_AE‖_EE）を含む、近似的に等変換なネットワークの新しい一般化境界を提案する。
• 損失関数のリプシッツ連続性とワルシャワ距離を用いて、対称性違反がテスト誤差に与える影響を境界化する。
• データ拡張に存在するバイアス項が存在しないことから、等変換ネットワークの境界がタイトであることを示して、各手法の境界を比較する。

実験結果

リサーチクエスチョン

• RQ1 非定常的かつ非i.i.d.な時系列において、データ拡張と等変換ネットワークの一般化境界はどのように比較されるか？
• RQ2 等変換ネットワークの一般化性能がデータ拡張を上回る条件は何か？
• RQ3 不完全またはノイズ混入した対称性が存在する状況下で、近似的に等変換な一般化に与える影響は何か？
• RQ4 不完全な対称性を有する現実世界のデータにおいて、等変換誤差項が一般化性能の向上に果たす役割は何か？
• RQ5 理論的境界は、動的予測において近似的に等変換なモデルの実験的成功を説明できるか？

主な発見

• データ拡張の境界に存在するバイアス項が存在しないことから、等変換ネットワークはデータ拡張よりもタイトな一般化上界を達成する。
• データ拡張の一般化境界には、サンプルとその群変換版との間の期待ワルシャワ距離に比例する項が含まれており、これは完全な対称性が成立する場合にのみ消える。
• 対称性が不完全な状況下では、近似的に等変換なネットワークが、データ拡張および厳密に等変換なモデルよりも良好な一般化上界を達成する。これは負の項 −‖q‖₁‖θ̂_AE‖_EE に起因する。
• 母集団最小化子の経験的誤差 ξ が小さい場合、近似的に等変換なモデルの一般化性能は、学習された等変換誤差 ‖θ̂_AE‖_EE が真値に近づくに従い著しく向上する。
• 理論的分析により、近似的な対称性の下で完全な等変換性を強制することは過剰制約を引き起こし、特に現実世界のデータでは一般化性能を悪化させることが示された。
• 導出された境界は非定常的かつ非混合な時系列に対しても有効であり、予測の関連性を反映するための時間依存重み q_t を組み込んでいるため、実用的な動的予測に適している。