[論文レビュー] Neural Kernels Without Tangents

Vaishaal Shankar, Alex Chengyu Fang+5 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Neural Network Applications参考文献 27被引用数 35

ひとこと要約

この論文は、ニューラルネットワークの演算（畳み込み、プーリング、非線形性）を模倣する特徴の袋から成る組成カーネルを構築し、カーネルの性能をニューラルネットとNTK、視覚データと表データ上で比較し、強い相関と実用的なカーネル設計の洞察を示す。

ABSTRACT

We investigate the connections between neural networks and simple building blocks in kernel space. In particular, using well established feature space tools such as direct sum, averaging, and moment lifting, we present an algebra for creating "compositional" kernels from bags of features. We show that these operations correspond to many of the building blocks of "neural tangent kernels (NTK)". Experimentally, we show that there is a correlation in test error between neural network architectures and the associated kernels. We construct a simple neural network architecture using only 3x3 convolutions, 2x2 average pooling, ReLU, and optimized with SGD and MSE loss that achieves 96% accuracy on CIFAR10, and whose corresponding compositional kernel achieves 90% accuracy. We also use our constructions to investigate the relative performance of neural networks, NTKs, and compositional kernels in the small dataset regime. In particular, we find that compositional kernels outperform NTKs and neural networks outperform both kernel methods.

研究の動機と目的

• 組成カーネルを通じて、ニューラルネットワークのアーキテクチャとカーネル空間の経験的な関係を調査する。
• 特徴空間の操作（結合、ダウンサンプリング、埋め込み）を一連として開発し、特徴の袋から表現力のあるカーネルを構築する。
• これらの組成カーネルをデータから直接計算し、ランダム特徴近似を用いない。
• CIFAR-10、CIFAR-100、MNIST、CIFAR-10.1、及び90個のUCIデータセットを横断して、ニューラルネットワーク、NTK、および組成カーネルの性能を比較する。
• 前処理およびデータ拡張がカーネルとニューラルネットワークの性能に及ぼす影響を評価する。

提案手法

• インデックス集合Bと特徴空間Hを用いた袋-of-featuresフレームワークを定義する（例：画像を3Dカラー ベクトルの袋として表現）。
• 袋上のカーネル保持操作を3つ導入する：結合、ダウンサンプリング（プーリング）、埋め込み。
• 各操作に対するカーネル計算を導出し、明示的な特徴マップを使わずに画像データから厳密なカーネル構築を可能にする。
• 入力カーネル、畳み込み、平均プーリング、ReLUまたはガウシアン埋め込みを通じて、画像に操作を特化させる。
• 深さ方向のカスケードと乱数特徴を用いた期待値計算を通じて、組成カーネルをニューラルネットワークアーキテクチャに関連付ける（DanielyらとJacotらに従う。）

実験結果

リサーチクエスチョン

• RQ1 単純な特徴空間操作から構成された組成カーネルは、ニューラルネットワークおよびNTKの表現力を近似できるか？
• RQ2 カーネル空間における畳み込み、プーリング、非線形性は、ニューラルネットワークの対応する要素とどのように対応するか？
• RQ3 Myrtle-family畳み込みカーネルとNTKおよびCNNの、CIFAR-10、CIFAR-100、MNISTにおける経験的性能は？
• RQ4 小データおよび標準的な設定において、前処理（例：ZCA）とデータ拡張がカーネルとニューラルネットワークの性能にどう影響するか？
• RQ5 これらのカーネル構成は大規模データセットへ拡張できるか（計算上のボトルネックは何か）？

主な発見

• 3x3畳み込み、2x2平均プーリング、ReLUを用いた単純なネットワークはSGDとMSE損失でCIFAR-10の精度96%に達する一方、対応する組成カーネルは90%に達する。
• CIFAR-10では、同一アーキテクチャファミリーにおいて組成カーネルはNTKを大きく上回る。
• 小規模データ領域では、組成カーネルはNTKを上回り、適切に調整された場合、ニューラルネットワークは両方のカーネル手法を上回る。
• MNISTでは、畳み込みカーネルとネットワークは類似した高精度を達成し、NTK、アーコサイン、ガウスなどの非畳み込みベースラインをすべて上回る。
• CIFAR-100では、最良の組成カーネルが拡張なしのCNNに匹敵し、拡張やBatchNormを適用すると改善、ここではCNNにおいてクロスエントロピー損失の方がMSEより最適化が容易だった。
• 90個のUCIデータセット全体で、ガウシアンカーネルはNTKと比較して同等かそれ以上の性能を、改訂された交差検証評価プロトコルの下で示した。