[論文レビュー] Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers

Colin Wei, Yining Chen+1 more|arXiv (Cornell University)|Jul 28, 2021

Neural Networks and Applications参考文献 53被引用数 6

ひとこと要約

本稿は、有限データから低サンプル複雑性でターゲット関数を学習できるように保証する、統計的に意味のある（SM）近似という新しい理論的枠組みを導入する。これは、過パラメータ化された順方向ネットワークとトランスフォーマーが、それぞれブール回路とチューリングマシンを、回路／チューリングマシンのサイズに多項式的で、計算時間に対して対数的であるサンプル複雑性でSM近似できることを示している。これは、従来のVCやノルムに基づく手法よりも優れた一般化境界を用いた新しい一般化境界によって達成される。

ABSTRACT

A common lens to theoretically study neural net architectures is to analyze the functions they can approximate. However, constructions from approximation theory may be unrealistic and therefore less meaningful. For example, a common unrealistic trick is to encode target function values using infinite precision. To address these issues, this work proposes a formal definition of statistically meaningful (SM) approximation which requires the approximating network to exhibit good statistical learnability. We study SM approximation for two function classes: boolean circuits and Turing machines. We show that overparameterized feedforward neural nets can SM approximate boolean circuits with sample complexity depending only polynomially on the circuit size, not the size of the network. In addition, we show that transformers can SM approximate Turing machines with computation time bounded by $T$ with sample complexity polynomial in the alphabet size, state space size, and $\log (T)$. We also introduce new tools for analyzing generalization which provide much tighter sample complexities than the typical VC-dimension or norm-based bounds, which may be of independent interest.

研究の動機と目的

• 普遍近似理論と実際のディープラーニングの間のギャップを解消するため、近似ネットワークが有限データから統計的に学習可能であることを要請する。
• 良い一般化と低サンプル複雑性を保証する新しい近似の概念——統計的に意味のある（SM）近似——を形式化する。
• 過パラメータ化されたニューラルネットワークとトランスフォーマーを用いた、ブール回路およびチューリングマシンの近似におけるサンプル複雑性を分析する。
• ネットワークの幅やパラメータ数ではなく、問題の本質的サイズに依存する、よりタイトな一般化境界を開発する。
• 先行研究における無限精度の構成の問題を解決するため、有限精度・有限サンプル学習に焦点を当てる。

提案手法

• 統計的に意味のある（SM）近似の形式的定義を提示し、近似族内の経験的リスク最小化が高確率で低い近似誤差を達成できることを要請する。
• ターゲット関数の本質的複雑性（例：回路サイズやチューリングマシンのパラメータ）に依存するが、近似ネットワークのサイズに依存しない、新しい一般化境界フレームワークを導入する。
• このフレームワークを適用し、過パラメータ化された順方向ネットワークが、回路サイズに多項式的で、深さに対して対数的であるサンプル複雑性でブール回路をSM近似できることを示す。
• 計算時間Tが有界なチューリングマシンをSM近似できる、エンコーダ・デコーダ型トランスフォーマーを構築し、サンプル複雑性がアルファベットサイズ、状態空間サイズ、およびlog(T)に多項式的であることを達成する。
• 残差接続およびアテンション機構の安定性と感度解析を用いて、パラメータのずれに伴う隠れ状態および出力の摂動を制限する。
• 活性化関数やフィードフォワード層などのネットワーク部品のリプシッツ連続性に関する条件を用い、パラメータ摂動下での誤差伝播境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、表現力と有限データからの統計的学習可能性の両方を満たす形でブール回路を近似できるか？
• RQ2 トランスフォーマーは、問題サイズに合理的にスケーリングするサンプル複雑性で、計算時間に上限のあるチューリングマシンをシミュレートできるか？
• RQ3 従来の一般化境界（例：VC次元やノルムベース）は、実際のディープラーニングモデルの真のサンプル複雑性を捉えていないのだろうか？
• RQ4 表現力と統計的学習可能性の両方を保証する近似の概念を定義でき、無限精度や指数的多数のパラメータに依存しないようにできるか？
• RQ5 トランスフォーマーのような現代のアーキテクチャを用いて、チューリングマシンのような複雑な計算モデルを近似するための、最もタイトな一般化境界は何か？

主な発見

• 過パラメータ化された順方向ネットワークは、ネットワークの幅やパラメータ数に依存せず、回路サイズにのみ依存するサンプル複雑性でブール回路をSM近似できる。
• トランスフォーマーは、計算時間Tが有界なチューリングマシンをSM近似でき、サンプル複雑性がアルファベットサイズ、状態空間サイズ、およびlog(T)に多項式的である。
• 提案された一般化境界は、特に深層または過パラメータ化されたネットワークにおいて、標準的なVC次元やノルムベースの境界よりも著しくタイトである。
• 解析により、先行研究における無限精度の構成は現実的ではなく、有限精度・有限幅のネットワークはストリーミングメモリ制限のためチューリングマシンをシミュレートできないことが示された。
• カウンティングの議論により、サブ線形パラメータ数の有限精度ネットワークは、任意のラベル付けを記憶できないことが確認され、無限精度に基づく主張は揺るがされた。
• このフレームワークは、有限サンプルからのターゲット関数のフィッティングに関する統計的懸念を効果的に排除し、単なる表現力ではなく学習可能性に焦点を当てる。