[論文レビュー] Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks

Sanjeev Arora, Simon S. Du+4 more|arXiv (Cornell University)|Oct 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 13

ひとこと要約

この論文は、無限に広い深層ネットワークから導出されるニューラルタングエント・カーネル（NTK）分類器が、小データ機械学習タスクで最先端の性能を達成することを示している。NTKを用いたカーネル法、特に畳み込みNTK（CNTK）を活用することで、有限幅のネットワークやランダムフォレスト、線形SVMといった従来の手法よりも優れた性能を発揮し、特にハイパーパrameterチューニングを最小限に抑えられる低データ環境下で顕著である。

ABSTRACT

Recent research shows that the following two models are equivalent: (a) infinitely wide neural networks (NNs) trained under l2 loss by gradient descent with infinitesimally small learning rate (b) kernel regression with respect to so-called Neural Tangent Kernels (NTKs) (Jacot et al., 2018). An efficient algorithm to compute the NTK, as well as its convolutional counterparts, appears in Arora et al. (2019a), which allowed studying performance of infinitely wide nets on datasets like CIFAR-10. However, super-quadratic running time of kernel methods makes them best suited for small-data tasks. We report results suggesting neural tangent kernels perform strongly on low-data tasks. 1. On a standard testbed of classification/regression tasks from the UCI database, NTK SVM beats the previous gold standard, Random Forests (RF), and also the corresponding finite nets. 2. On CIFAR-10 with 10 - 640 training samples, Convolutional NTK consistently beats ResNet-34 by 1% - 3%. 3. On VOC07 testbed for few-shot image classification tasks on ImageNet with transfer learning (Goyal et al., 2019), replacing the linear SVM currently used with a Convolutional NTK SVM consistently improves performance. 4. Comparing the performance of NTK with the finite-width net it was derived from, NTK behavior starts at lower net widths than suggested by theoretical analysis(Arora et al., 2019a). NTK's efficacy may trace to lower variance of output.

研究の動機と目的

• 従来のカーネル法が計算的に非現実的である小データ機械学習タスクにおいて、ニューラルタングエント・カーネル（NTK）分類器の性能を評価すること。
• NTKによって形式化された深層ネットワークの無限幅極限が、理論的には有限幅ネットワークに劣ると予測されるが、低データ環境下でも実用的な利点を提供するかを調査すること。
• 小データセットにおける精度、安定性、一般化性能の観点から、NTKベースのモデルをランダムフォレストや線形SVMといった代表的なベースラインと比較すること。
• 転移学習パイプラインにおける線形分類器の即座な置き換えとしての、畳み込みNTK（CNTK）の少サンプル画像分類における有効性を調査すること。
• NTKが有限幅ネットワークのインダクティブバイアスを低データ環境で適切に捉えているか、またその低い分散が性能向上に寄与しているかを評価すること。

提案手法

• Aroraら（2019a）の効率的なアルゴリズムを用いて、全結合および畳み込みニューラルネットワークアーキテクチャの正確なニューラルタングエント・カーネル（NTK）を計算し、近似を一切用いずに正確なカーネル計算を可能にする。
• NTKおよびCNTKをカーネル関数として用い、カーネル回帰およびカーネルSVMを実行し、最小限のハイパーパrameterチューニングで安定したソルバーを活用する。
• 標準的なUCIベンチマークデータセットおよびCIFAR-10を用い、限られた訓練サンプル（10～640）で、多様な分類タスクにおけるNTKの性能を評価する。
• VOC07における少サンプル学習において、事前学習済みResNet-50から特徴量を抽出し、線形分類器をCNTKベースのSVMに置き換えて、1～8サンプル/クラスの少サンプル設定での性能を評価する。
• 交差検証を用いてSVM正則化パramータCをチューニングし、複数のランダムな分割におけるmAPの平均値と標準偏差を報告する。
• 平均精度、Friedmanランク、PMA（最大精度のパーセンテージ）といった標準指標を用いて、NTKおよびCNTKの性能を有限幅ネットワーク、ランダムフォレスト、線形SVMと比較する。

実験結果

リサーチクエスチョン

• RQ1 NTKベースの分類器は、有限幅の深層ネットワークやランダムフォレストといった従来の手法を、小データ分類タスクで上回ることができるか？
• RQ2 NTKによって形式化された深層ネットワークの無限幅極限は、理論的には有限ネットワークに劣ると予測されるが、低データ環境下でも一般化性能が優れているか？
• RQ3 転移学習パイプラインにおける線形SVMの即時置き換えとして用いる場合、少サンプル画像分類におけるCNTKの性能は線形SVMと比べてどうか？
• RQ4 出力分布の分散が、小データセットにおけるNTKの性能向上に果たす役割は何か？
• RQ5 NTK近似が有限ネットワークの挙動を正確に記述し始めるネットワーク幅はどの程度か？また、理論的予測よりも早くその現象が発現するか？

主な発見

• UCIベンチマークの90の分類タスクにおいて、NTK分類器はランダムフォレストや有限幅の深層ネットワークを上回る優れた性能を示し、FriedmanランクおよびPMA指標を用いた統計的有意性が確認された。
• CIFAR-10（10～640サンプル）において、畳み込みNTK（CNTK）はResNet-34を1％～3％の範囲で一貫して上回り、小データコンピュータビジョンタスクにおける強力な一般化性能を示した。
• VOC07における少サンプル画像分類では、線形SVMをCNTKに置き換えることで、全ショット設定（k=1～8）でmAPが向上し、中程度の特徴量（Conv3およびConv4）では最大4％の向上が得られた。
• NTK分類器は有限ネットワークよりも分散が低く、特にノイズが多い環境やサンプル数が少ない状況下で性能向上に寄与していることが分かった。
• 有限ネットワークとそのNTK近似との間の性能差は理論的予測よりも小さい——NTKの挙動は従来の予測よりも低い幅で現れることが示された。
• 1～3層の畳み込み層を備えたCNTKは、常に線形SVMを上回り、特に中程度の特徴量で最大の向上が得られた。これは、低データ環境下でカーネル内の非線形性が有益であることを示唆している。