[論文レビュー] The staircase property: How hierarchical structure can guide deep learning

Emmanuel Abbé, Enric Boix-Adserà+3 more|arXiv (Cornell University)|Aug 24, 2021

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿は、ブールハイパーキューブ上の関数に適用可能な構造的条件「ステップラック性（staircase property）」を導入し、深層ニューラルネットワークによる効率的学習を可能にする。正則かつ同次的初期化を施したニューラルネットワークが、階層的関数に対して層ごとの確率的座標降下法を用いてその関数を学習できることを証明しており、勾配は下位の特徴を段階的に組み合わせて上位の表現を構築する。この方法により、通常の勾配法では困難な関数に対しても多項式時間収束が達成される。

ABSTRACT

This paper identifies a structural property of data distributions that enables deep neural networks to learn hierarchically. We define the "staircase" property for functions over the Boolean hypercube, which posits that high-order Fourier coefficients are reachable from lower-order Fourier coefficients along increasing chains. We prove that functions satisfying this property can be learned in polynomial time using layerwise stochastic coordinate descent on regular neural networks -- a class of network architectures and initializations that have homogeneity properties. Our analysis shows that for such staircase functions and neural networks, the gradient-based algorithm learns high-level features by greedily combining lower-level features along the depth of the network. We further back our theoretical results with experiments showing that staircase functions are also learnable by more standard ResNet architectures with stochastic gradient descent. Both the theoretical and experimental results support the fact that staircase properties have a role to play in understanding the capabilities of gradient-based learning on regular networks, in contrast to general polynomial-size networks that can emulate any SQ or PAC algorithms as recently shown.

研究の動機と目的

• 深層ニューラルネットワークにおける階層的学習を可能にする、データ分布に自然に現れる解釈可能な構造的性質を同定すること。
• 正則なニューラルネットワークアーキテクチャと同次的初期化が、ステップラック性を満たす関数を効率的に学習できることを示すこと。
• 高次多項式がなぜ学習が困難であるのに対し、構造的和（ステップラック関数）は勾配ベース最適化においては扱いやすいのかを説明すること。
• 正則ネットワーク上での層ごとの確率的座標降下法を用いた多項式時間学習の理論的保証を提供すること。
• 一般の多項式サイズのネットワークが任意の統計的クエリまたはPACアルゴリズムをエミュレート可能であるのと対照的に、アーキテクチャの正則性が果たす役割を強調すること。

提案手法

• ハイパーキューブ上での高次フーリエ係数が、増加列に沿って低次係数から到達可能であるという条件として「ステップラック性」を定義すること。
• フーリエ＝ウォルシュ展開を用いて関数を、フーリエ係数で重み付けられた単項式の和として表現すること。
• 各層が対称性と同次性を維持する正則かつ同次的ニューラルネットワークにおける勾配フローを分析すること。
• ネットワークの深さに沿って、下位特徴を段階的に組み合わせるグリーディなメカニズムを備えた層ごとの確率的座標降下法を適用すること。
• 神経細胞の接続性と活性化パターンに関する集中不等式と和集合不等式を用い、帰納的議論により層ごとの学習における高確率収束を証明すること。
• 反復回数と1反復あたりの計算量を分析することで実行時間の上限を確立し、多項式時間学習であることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 データに自然に現れる、解釈可能な構造的性質を同定し、それが深層ネットワークにおける階層的学習を可能にするのか？
• RQ2 次数が増加する単項式の和であるステップラック関数はなぜ勾配ベース手法で学習可能であるのに対し、個々の高次多項式は学習が困難なのか？
• RQ3 ステップラック性の階層的構造が、正則かつ同次的ニューラルネットワークにおける重みダイナミクスとどのように作用するのか？
• RQ4 対称的初期化を施した正則なネットワークアーキテクチャが、多項式時間で階層的関数を学習できるかを証明できるか？
• RQ5 一般のネットワークが任意の学習アルゴリズムをエミュレート可能であるのと対照的に、アーキテクチャの正則性が効率的勾配ベース学習を可能にする役割は何か？

主な発見

• ステップラック性を満たす関数は、同次的初期化を施した正則ニューラルネットワーク上で層ごとの確率的座標降下法を用いて多項式時間で学習可能である。
• 勾配ベースの学習プロセスは、下位の特徴を段階的に組み合わせて上位の表現を構築する。これは、ネットワークの深さに沿って「階段をのぼる」ようなものである。
• 実験では、SGDを用いたResNetアーキテクチャが、高次のステップラック関数（例：k=10, n=30）を効果的に学習できた一方、個々の高次多項式では失敗した。
• 理論的分析により、高確率（1−δ）で訓練誤差がε未満に低下するまでの反復回数がO(κ)であることが示された。ここでκは関数およびネットワークサイズに関連する複雑度パラメータである。
• 特殊なアーキテクチャや初期化に依存せず、正則性と対称性のみで十分であることが示された。これは、ステップラック条件のもとで階層的学習が可能であることを裏付ける。
• 先行研究とは対照的に、一般の多項式サイズのネットワークは任意の統計的クエリやPACアルゴリズムをエミュレート可能であるが、本研究はアーキテクチャの正則性が構造的・階層的学習を可能にする鍵であることを強調している。