[論文レビュー] Approximating Lipschitz continuous functions with GroupSort neural networks

Ugo Tanielian, Maxime Sangnier+1 more|arXiv (Cornell University)|Jun 9, 2020

Adversarial Robustness in Machine Learning参考文献 2被引用数 8

ひとこと要約

この論文は、重みに制約を課したGroupSortニューラルネットワークが、任意のリプシッツ連続な区分線形関数を正確に表現できることを示し、一般の1-リプシッツ連続関数を効率的に近似可能であり、標準的なReLUネットワークよりも優れたロバストネスと表現力を持つことを示している。深さとサイズに関する理論的上限を確立し、グループ化サイズを増加させることで表現力が向上することを示しており、関数近似およびワルシャー形式距離推定における合成実験によって裏付けられている。

ABSTRACT

Recent advances in adversarial attacks and Wasserstein GANs have advocated for use of neural networks with restricted Lipschitz constants. Motivated by these observations, we study the recently introduced GroupSort neural networks, with constraints on the weights, and make a theoretical step towards a better understanding of their expressive power. We show in particular how these networks can represent any Lipschitz continuous piecewise linear functions. We also prove that they are well-suited for approximating Lipschitz continuous functions and exhibit upper bounds on both the depth and size. To conclude, the efficiency of GroupSort networks compared with more standard ReLU networks is illustrated in a set of synthetic experiments.

研究の動機と目的

• 重みに制約を課したGroupSortニューラルネットワークの表現力、特にリプシッツ連続関数に対するものについて理解を深めること。
• 1-リプシッツ連続な区分線形関数を表現するために必要な深さとサイズに関する理論的上限を確立すること。
• グループ化サイズを増加させることでGroupSortネットワークの表現力がどのように向上するかを調査すること。
• 関数回帰およびワルシャー形式距離近似タスクにおいて、GroupSortネットワークとReLUネットワークを実験的に比較すること。
• GroupSortネットワークが有界なリプシッツ定数を維持しながら高い性能を発揮できることを示し、 adversarial 攻撃に対して高いロバストネスを示すこと。

提案手法

• 著者らは、事前に定義されたニューロンのグループ内で前活性化をソートするGroupSort活性化関数を用い、ネットワークのリプシッツ定数をよりよく制御できるようにしている。
• 重み行列に制約を課して、全体のネットワークが1-リプシッツ連続であることを保証している。
• 理論的分析により、任意の1-リプシッツ連続な区分線形関数を表現するために必要なGroupSortネットワークの深さとサイズに関する上界が導出されている。
• このフレームワークは、コンパクト集合上での一般の1-リプシッツ連続関数の近似へと拡張され、近似誤差に関する境界がネットワークの深さと幅に依存することを示している。
• グループ化サイズを大きくすることで、ネットワーク内の線形領域の数が顕著に増加し、表現力が向上することが示されている。
• 合成実験を通じて、ノイズありおよびノイズなしの設定下で、GroupSortネットワークとReLUネットワークの関数回帰およびワルシャー形式距離推定における性能を比較した実験的検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 重みに制約を課したGroupSortニューラルネットワークは、任意のリプシッツ連続な区分線形関数を正確に表現できるか？
• RQ2 1-リプシッツ連続な区分線形関数を表現するために必要なGroupSortネットワークの深さとサイズに関する理論的上限は何か？
• RQ3 グループ化サイズを増加させることで、GroupSortネットワークの表現力および線形領域の数はどのように変化するか？
• RQ4 ノイズありおよびノイズなしの条件下で、GroupSortネットワークと標準的なReLUネットワークは1-リプシッツ関数をどのように近似するか？
• RQ5 GroupSortネットワークは、有界なリプシッツ定数を維持しながら、ReLUネットワークを上回る性能を達成できるか？特に、有界リプシッツ関数を必要とするGANベースの応用において適しているか？

主な発見

• 重みに制約を課したGroupSortネットワークは、任意の1-リプシッツ連続な区分線形関数を正確に表現でき、深さとサイズに関する保証された上界が存在する。
• グループ化サイズを増加させることで、線形領域の数が顕著に増加し、ネットワークの表現力が向上する。
• ノイズなしの回帰設定では、制約なしのReLUネットワークが一様ノルムにおいてわずかにGroupSortネットワークを上回るが、その代わりにリプシッツ定数が1を超える。
• ノイズありの設定では、制約なしのReLUネットワークは過学習を起こし、リプシッツ定数が約2.7にまで上昇し、一般化性能が著しく低下するが、GroupSortネットワークはロバストな性能を維持する。
• ノイズなしおよびノイズありの回帰タスクにおいて、GroupSortネットワークは正規直交化されたReLUネットワークを上回り、より安定したリプシッツ定数を示す。
• ワルシャー形式距離近似において、GroupSortネットワークはReLUネットワークを上回り、GANベースの応用において有界リプシッツ関数を必要とするタスクに適していることが示された。