[論文レビュー] Provable Memorization via Deep Neural Networks using Sub-linear Parameters

Sejun Park, Jaeho Lee+2 more|arXiv (Cornell University)|Oct 26, 2020

Machine Learning and Algorithms参考文献 32被引用数 10

ひとこと要約

この論文は、入力がΔ-分離されている場合、深層ニューラルネットワークがサブ線形パラメータ（具体的にはO(N^{2/3})）でN個の入力-ラベルペアを証明可能に記憶できることを示している。ReLU／シグモイド活性化関数と深さを活用することで、標準のO(N)境界よりも著しく少ないパラメータで記憶を達成する幅3の深層ネットワークを構築し、過パラメータ化における重要な理論的ギャップを解消した。

ABSTRACT

It is known that $O(N)$ parameters are sufficient for neural networks to memorize arbitrary $N$ input-label pairs. By exploiting depth, we show that $O(N^{2/3})$ parameters suffice to memorize $N$ pairs, under a mild condition on the separation of input points. In particular, deeper networks (even with width $3$) are shown to memorize more pairs than shallow networks, which also agrees with the recent line of works on the benefits of depth for function approximation. We also provide empirical results that support our theoretical findings.

研究の動機と目的

• O(N)パラメータ未満でN個の入力-ラベルペアを記憶できる条件を同定すること。
• 深さが記憶のためのサブ線形パラメータスケーリングを可能にし、先行の否定的結果の制限を克服できることを示すこと。
• 実用的データ分布を捉えるのに適した幾何的条件「Δ-分離性」を形式化し、より緊密な記憶限界を可能にすること。
• 過パラメータ化ネットワークにおける関数近似と記憶能力の理論的ギャップを埋めること。

提案手法

• Δ-分離性条件を導入：N個の入力間の最大距離と最小距離の比がΔで有界であること。
• ReLUまたはシグモイド活性化関数を用いた深く狭い（幅3）全結合ネットワークを構築し、任意のΔ-分離データセットのNペアを記憶可能にする。
• ラベルを符号化するために2進表現とインジケータ関数によるビット単位の操作を活用するモジュール型ネットワークアーキテクチャを設計する。
• 各層をReLU／シグモイドインジケータ関数の線形結合として実装し、ラベルのビットを抽出・伝搬する。
• 深さを活用してビット単位の演算をシミュレートする：各層がビットのサブセットを処理することで、大規模なラベル空間を効率的に表現可能となる。
• ネットワークの深さがO(N^{2-2w} + log Δ)、パラメータ数がO(N^w + log Δ)（w ∈ [2/3, 1]）であることを証明し、w=2/3でO(N^{2/3})パラメータを達成する。

実験結果

リサーチクエスチョン

• RQ1 実用的データ条件下で、深層ニューラルネットワークはO(N)パラメータ未満でN個の入力-ラベルペアを記憶可能か？
• RQ2 どのような幾何的・構造的性質がサブ線形パラメータ記憶を可能にするか？
• RQ3 深さは記憶に必要なパラメータ数をどのように削減するか？
• RQ4 Sontag（1997）のo(N)パラメータに関する否定的結果は、緩いデータ仮定の下で回避可能か？

主な発見

• 任意のΔ-分離データセット（N個の入力-ラベルペア）に対して、O(N^{2/3})パラメータの全結合深層ネットワークがΔ = 2^{O(N^{2/3})}の下でデータを記憶可能である。
• 標準のO(N)境界を上回るO(N^{2/3})パラメータで記憶が達成され、性能が向上している。
• 幅3のネットワークでも動作することを示しており、狭いアーキテクチャであっても深さのおかげで記憶性能が著しく向上することを示している。
• 深さとパラメータ数のlog Δ項は、実用的データセット（例：ImageNetではlog Δ < 17）では通常無視できるため、実世界の設定でも有効な境界となっている。
• 実験結果により、データ点数未満のパラメータ数を持つネットワークがΔ-分離性のもとで訓練データを完璧に記憶可能であることが確認された。