[論文レビュー] Representational Power of ReLU Networks and Polynomial Kernels: Beyond Worst-Case Analysis

Frederic Koehler, Andrej Risteski|arXiv (Cornell University)|May 29, 2018

Model Reduction and Neural Networks参考文献 6被引用数 6

ひとこと要約

この論文は、高次元的かつスパースな潜在変数モデルにおけるReLUネットワークと多項式カーネルの表現力について分析し、2層のReLUネットワークが近似的に最適な統計的性能を達成するのに対し、低次の多項式（次数 < log n）は顕著に劣る性能を示すことを示している。これは、現実的で最悪ケースでない設定における深層ネットワークの顕著な利点を示している。

ABSTRACT

There has been a large amount of interest, both in the past and particularly recently, into the power of different families of universal approximators, e.g. ReLU networks, polynomials, rational functions. However, current research has focused almost exclusively on understanding this problem in a worst-case setting, e.g. bounding the error of the best infinity-norm approximation in a box. In this setting a high-degree polynomial is required to even approximate a single ReLU. However, in real applications with high dimensional data we expect it is only important to approximate the desired function well on certain relevant parts of its domain. With this motivation, we analyze the ability of neural networks and polynomial kernels of bounded degree to achieve good statistical performance on a simple, natural inference problem with sparse latent structure. We give almost-tight bounds on the performance of both neural networks and low degree polynomials for this problem. Our bounds for polynomials involve new techniques which may be of independent interest and show major qualitative differences with what is known in the worst-case setting.

研究の動機と目的

• スパースな潜在構造を持つ現実的で最悪ケースでない設定において、ReLUネットワークと多項式カーネルの相対的な統計的性能を理解すること。
• 従来の最悪ケース近似誤差バウンド（例えば、ボックス上のL∞ノルム）を越え、実データ分布に実用的関連性のある平均ケース分析へ移行すること。
• 意思決定境界付近など、関連するドメインでの近似のみが重要であるような設定を形式化し、実世界の機械学習応用に裏付けを置くこと。
• このスパース回帰モデルにおいて、多項式カーネルとReLUネットワークが達成可能な統計的誤差のタイトなバウンドを提供すること。
• 低次の多項式が関連領域でReLU関数の構造を捉えられず、一方で浅いReLUネットワークは成功することを示すこと。

提案手法

• データXがスパースな潜在ベクトルZのノイズあり線形変換であり、ラベルYがZに関して線形であるような生成モデルを形式化すること。
• このモデルにおいて、真の条件付き期待値E[Y|X]を近似する多項式予測子とReLUネットワークの統計的誤差を分析すること。
• 複素解析と解析接続に関するベルンシュタインの定理を用い、楕円領域におけるテイラー級数の収束速度を通じて、多項式の近似誤差をバウンドすること。
• 対数変換を用いたReLUの滑らかな近似を構築し、多項式近似理論を適用して関心領域における誤差をバウンドすること。
• テイラー係数の解析的領域と減衰率を分析することで、ReLUの多項式近似誤差の定量的バウンドを導出すること。
• 近似理論の誤差バウンドと統計的推定理論を組み合わせ、ReLUネットワークが近似的に最適なレートを達成するのに対し、低次の多項式は達成しないことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 2層のReLUネットワークは、高次元的かつスパースな潜在変数回帰モデルにおいて、近似的に最適な統計的性能を達成できるか？
• RQ2 このモデルにおいて、低次の多項式カーネルの性能はReLUネットワークと比べてどうか、特に関連する入力領域における近似誤差の観点から。
• RQ3 この設定で近似的に最適な性能を達成するための多項式の最小次数は何か？
• RQ4 標準的な最悪ケース近似バウンド（例えば、ボックス上のL∞）は、現実的でデータ駆動型の設定における多項式カーネルの真の表現力を捉えていないのか？
• RQ5 複素近似理論の技術を用いることで、ReLUのような非滑らか関数に対する、よりタイトでデータ関連のバウンドを多項式近似誤差に導出できるか？

主な発見

• 2層のReLUネットワークは、スパースな潜在変数回帰モデルにおいて、最適レートに近い統計的誤差を達成する。
• 次数が log n より小さい多項式予測子は、最適レートに比べて顕著に劣った統計的レートを示し、『自明な』レートに近づく。
• 次数が (log n)² の多項式予測子は近似的に最適な統計的性能を達成するため、有効性の鋭い閾値が存在することが示された。
• 次数 Ω(log n) の多項式近似において必要な単項式の数は、n^Ω(log n) として超多項式的に増加するため、実用的には最適化が不可能である。
• 幅τの区間でReLUを次数dの多項式で近似する場合、多項式近似誤差は O(e^{-√(τd)/4}) でバウンドされ、dに関して指数的収束が示された。
• 分析により、最悪ケース近似とは異なり、多項式は関連領域では著しく不正確である可能性があることが明らかになった。これは、ドメインに配慮した分析の必要性を強調している。