[論文レビュー] Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces

Akiyoshi Sannai, Masaaki Imaizumi+1 more|arXiv (Cornell University)|Oct 15, 2019

3D Shape Modeling and Analysis参考文献 35被引用数 4

ひとこと要約

本稿では、群不変および同変な深層ニューラルネットワークのためのより良い一般化境界を導出するために、商特徴空間（QFS）を導入する。群作用が特徴空間に与える影響を定量化することで、著者らはQFSの体積が一般化誤差を支配することを示し、DeepSetsのようなSₙ不変ネットワークでは、境界の主要項が√(n!)改善されることを示している。同時に、最適な近似レートを維持している。

ABSTRACT

Numerous invariant (or equivariant) neural networks have succeeded in handling invariant data such as point clouds and graphs. However, a generalization theory for the neural networks has not been well developed, because several essential factors for the theory, such as network size and margin distribution, are not deeply connected to the invariance and equivariance. In this study, we develop a novel generalization error bound for invariant and equivariant deep neural networks. To describe the effect of invariance and equivariance on generalization, we develop a notion of a extit{quotient feature space}, which measures the effect of group actions for the properties. Our main result proves that the volume of quotient feature spaces can describe the generalization error. Furthermore, the bound shows that the invariance and equivariance significantly improve the leading term of the bound. We apply our result to specific invariant and equivariant networks, such as DeepSets (Zaheer et al. (2017)), and show that their generalization bound is considerably improved by $\sqrt{n!}$, where $n!$ is the number of permutations. We also discuss the expressive power of invariant DNNs and show that they can achieve an optimal approximation rate. Our experimental result supports our theoretical claims.

研究の動機と目的

• 不変性と幅やマージンといった標準的な一般化要因との関連を明確にしない、群不変／同変な深層ネットワークの一般化理論の欠如に対処すること。
• 一般化誤差境界に利用可能な、不変性および同変性の定量的測度を構築すること。
• 不変性が一般化誤差境界を顕著に改善すること、特に置換のような対称群作用において顕著であることを示すこと。
• 不変な深層ニューラルネットワークの表現力の分析を行い、不変性の制約にもかかわらず最適な近似レートを達成できることを確認すること。

提案手法

• 群作用Gの下でのℝⁿ/Gへの射影を定める特徴空間の商空間（QFS）Δ_G = φ_G([0,1]^n)を導入する。ここでφ_Gはℝⁿを商空間ℝⁿ/Gに写像する。
• 不変ネットワークに対して、一般化誤差境界をQFSの体積の平方根に比例すると定義する。すなわちℒ(ℱᴳ) ∝ √vol(Δ_G) となる。
• 同変ネットワークの場合は、安定化部分群St(G)を用い、vol(Δ_St(G))に基づいて境界を定める。
• 対称群Sₙに適用し、一般化境界をO(√(1/(n! m²/n))) + √(2 log(1/2ε)/m)として導出する。
• Hölder空間を用いて表現力を分析し、Sₙ不変ネットワークがε⁻ᴰ⁄ᵅの最適近似レートを対数的要因を除き、不変性がない場合と同等の最良のレートで達成できることを証明する。
• 入力空間の分解に関する制限付き仮定やアルゴリズム的安定性に関する仮定なしに有効な理論的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般化誤差境界に影響を与えるような、不変性および同変性を定量的に測定する方法は何か？
• RQ2 群作用の下での特徴空間の幾何的性質を用いて、不変／同変ネットワークの一般化誤差を境界づけることは可能か？
• RQ3 置換のような対称群作用（Sₙ）における不変性の定量的影響は、一般化誤差にどのように現れるか？
• RQ4 不変な深層ニューラルネットワークは、不変性の制約があっても最適な近似能力を維持できるか？

主な発見

• Sₙ不変ネットワークの一般化誤差は、境界の主要項において√(n!)の要因で改善され、nが大きくなると誤差が顕著に減少する。
• Sₙ不変ネットワークの境界はO(√(1/(n! m²/n)))とスケーリングされ、nが増加するに従い強い改善が見られるが、mが増加すると収束が遅くなる。
• Sₙ不変な深層ニューラルネットワークの表現力は、対数的要因を除き、最適な近似レートε⁻ᴰ⁄ᵅを達成しており、不変性がない場合と同等の最良のレートを達成している。
• 提案されたQFSフレームワークは、従来の研究とは異なり、アルゴリズム的安定性の仮定に依存しない一般化境界を提供する。
• DeepSetsのような実世界のモデルに対しても理論が適用可能であり、置換不変性のため、境界が√(n!)改善される。
• 商特徴空間の体積が、不変および同変ネットワークにおける一般化誤差を支配する主要な幾何的量であることが示された。