[논문 리뷰] Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces

Akiyoshi Sannai, Masaaki Imaizumi외 1명|arXiv (Cornell University)|2019. 10. 15.

3D Shape Modeling and Analysis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 군 불변 및 동치 깊이 신경망을 위한 향상된 일반화 경계를 유도하기 위해 몫 특성 공간(QFS)을 도입한다. 군 작용이 특성 공간에 미치는 영향을 정량화함으로써, 저자들은 QFS의 체적이 일반화 오차를 결정짓는다고 보여주며, 이는 DeepSets와 같은 Sₙ-불변 네트워크에서 경계의 주요 항에 대해 √(n!)의 향상으로 이어진다. 이는 최적의 근사율을 유지하면서 이루어진다.

ABSTRACT

Numerous invariant (or equivariant) neural networks have succeeded in handling invariant data such as point clouds and graphs. However, a generalization theory for the neural networks has not been well developed, because several essential factors for the theory, such as network size and margin distribution, are not deeply connected to the invariance and equivariance. In this study, we develop a novel generalization error bound for invariant and equivariant deep neural networks. To describe the effect of invariance and equivariance on generalization, we develop a notion of a extit{quotient feature space}, which measures the effect of group actions for the properties. Our main result proves that the volume of quotient feature spaces can describe the generalization error. Furthermore, the bound shows that the invariance and equivariance significantly improve the leading term of the bound. We apply our result to specific invariant and equivariant networks, such as DeepSets (Zaheer et al. (2017)), and show that their generalization bound is considerably improved by $\sqrt{n!}$, where $n!$ is the number of permutations. We also discuss the expressive power of invariant DNNs and show that they can achieve an optimal approximation rate. Our experimental result supports our theoretical claims.

연구 동기 및 목표

• 깊이 신경망의 군 불변성/동치성에 대한 일반화 이론가 부족한 문제를 해결하여, 불변성이 넓이 및 마진과 같은 표준 일반화 요소와 연결되도록 하기.
• 일반화 오차 경계에 사용할 수 있는 불변성 및 동치성의 정량적 측정법을 개발하기.
• 특히 순열과 같은 대칭군 작용 하에서 불변성이 일반화 오차 경계에 상당한 향상을 가져다준다는 것을 보여주기.
• 불변 깊이 신경망의 표현 능력을 분석하고, 이들이 최적의 근사율을 달성할 수 있음을 확인하기.

제안 방법

• 군 작용 G 하에서 ℝⁿ/G에 대한 몫 공간으로의 사상 φ_G를 정의함으로써, 몫 특성 공간(QFS) Δ_G = φ_G([0,1]^n)을 도입한다.
• 불변 네트워크의 경우 일반화 오차 경계를 QFS의 체적 제곱근에 비례하는 것으로 정의한다. 즉, ℒ(ℱᴳ) ∝ √vol(Δ_G).
• 동치 네트워크의 경우 안정자 부분군 St(G)를 사용하고, vol(Δ_St(G))를 통해 경계를 유도한다.
• 대칭군 Sₙ에 이 프레임워크를 적용하여 일반화 경계 O(√(1/(n! m²/n))) + √(2 log(1/2ε)/m)를 도출한다.
• 표현 능력을 분석하기 위해 허더 공간을 사용하고, Sₙ-불변 네트워크가 ε⁻ᴰ⁄ᵅ까지 최적의 근사율을 달성함을 증명한다. 이는 로그 인자 외에는 불변성이 없는 경우의 최상의 비율과 동일하다.
• 입력 공간 분해나 알고리즘 안정성에 대한 제한 없는 가정 없이도 유효한 이론적 경계를 수립한다.

실험 결과

연구 질문

• RQ1 일반화 오차 경계에 영향을 주는 방식으로 불변성과 동치성을 정량적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 군 작용 하에서 특성 공간의 기하적 성질을 사용해 불변/동치 네트워크의 일반화 오차를 경계 지을 수 있는가?
• RQ3 특히 순열과 같은 대칭군 작용 하에서 불변성이 일반화 오차에 미치는 정량적 영향은 무엇인가?
• RQ4 불변 깊이 신경망은 불변 제약 조건이 있음에도 불구하고 최적의 표현 능력을 유지하는가?

주요 결과

• Sₙ-불변 네트워크의 일반화 오차는 경계의 주요 항에서 √(n!)의 요소로 향상되어, n이 클수록 오차가 크게 감소한다.
• Sₙ-불변 네트워크의 경계는 O(√(1/(n! m²/n)))로 스케일링되며, n이 증가함에 따라 강력한 향상이 이루어지지만, m이 증가함에 따라 수렴 속도는 느려진다.
• Sₙ-불변 깊이 신경망의 표현 능력은 ε⁻ᴰ⁄ᵅ까지 최적의 근사율을 달성하며, 로그 인자 외에는 불변성이 없는 경우와 동일한 최상의 비율을 유지한다.
• 제안된 QFS 프레임워크는 이전 연구와 달리 알고리즘 안정성 가정에 종속되지 않는 일반화 경계를 제공한다.
• 이론은 DeepSets와 같은 실제 모델에 적용 가능하며, 순열 불변성 덕분에 경계가 √(n!)만큼 향상된다.
• 몫 특성 공간의 체적이 불변 및 동치 네트워크에서 일반화 오차를 결정짓는 핵심 기하적 양임이 입증되었다.