[論文レビュー] Improved Generalization Bound of Permutation Invariant Deep Neural Networks

Akiyoshi Sannai, Masaaki Imaizumi|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、ReLU活性化関数を備えた置換不変深層ニューラルネットワークの理論的一般化バウンドを確立し、置換不変性のおかげで一般化ギャップが√(n!)倍改善されることを示している。著者らは、基本領域対応やスケール感受性メトリックエントロピーといった新しい技術を開発し、構造的制約があるにもかかわらず不変ネットワークが最適近似レートを達成することを証明した。

ABSTRACT

We theoretically prove that a permutation invariant property of deep neural networks largely improves its generalization performance. Learning problems with data that are invariant to permutations are frequently observed in various applications, for example, point cloud data and graph neural networks. Numerous methodologies have been developed and they achieve great performances, however, understanding a mechanism of the performance is still a developing problem. In this paper, we derive a theoretical generalization bound for invariant deep neural networks with a ReLU activation to clarify their mechanism. Consequently, our bound shows that the main term of their generalization gap is improved by $\sqrt{n!}$ where $n$ is a number of permuting coordinates of data. Moreover, we prove that an approximation power of invariant deep neural networks can achieve an optimal rate, though the networks are restricted to be invariant. To achieve the results, we develop several new proof techniques such as correspondence with a fundamental domain and a scale-sensitive metric entropy.

研究の動機と目的

• 点群やグラフ学習のようなタスクにおいて、置換不変深層ニューラルネットワークがなぜ良好に一般化するのかを理論的に理解すること。
• ReLU活性化関数を備えた不変深層ニューラルネットワークの一般化バウンドを導出すること。
• 構造的制約があるにもかかわらず、置換不変性が近似性能を損なうかどうかを調査すること。
• 置換不変関数空間の幾何構造に特化した新しい証明技術を開発すること。

提案手法

• 置換不変関数とその基本領域上での表現との間の対応関係を確立し、解析を単純化する。
• 不変関数クラスの複雑さを測るためのスケール感受性メトリックエントロピーを導入する。
• ラデマッハ複雑度と被覆数の議論を用いて、√(n!)に依存する一般化バウンドを導出する。
• 与えられた制約下で、不変ネットワークの近似誤差が最適レートに達することを証明する。
• 対称化と置換群論を用いて、不変関数空間の構造を分析する。
• ReLU活性化関数の性質を活用し、表現力を維持しながら置換不変性を強制する。

実験結果

リサーチクエスチョン

• RQ1 置換不変性は、深層ニューラルネットワークの一般化性能にどのように影響するか？
• RQ2 構造的制約があるにもかかわらず、置換不変ネットワークは最適近似レートを維持できるか？
• RQ3 一般化ギャップが置換される座標数nにどのように依存するか？
• RQ4 メトリックエントロピーは、置換不変関数クラスを分析するためにどのように適合できるか？
• RQ5 対称的ディープラーニングモデルにおける一般化を分析するために、どのような新しい証明技術が必要か？

主な発見

• 置換不変深層ニューラルネットワークの一般化ギャップは、置換される座標数nに応じて√(n!)倍改善される。
• 導出された一般化バウンドは、明示的に置換不変性が仮説空間の複雑さを低減することを示している。
• 不変ネットワークの近似性能は最適レートに達しており、不変性による表現能力の損失はないと示唆している。
• 基本領域の使用により関数空間の幾何的還元が可能となり、複雑さの解析が簡略化された。
• スケール感受性メトリックエントロピーは、置換不変関数クラスの複雑さを正確に定量化するために成功した。
• 群論的対応関係やエントロピーに基づくバウンドを含む、新しい証明技術が開発され、分析において検証された。