[論文レビュー] End-to-End Kernel Learning with Supervised Convolutional Kernel Networks

Julien Mairal|arXiv (Cornell University)|May 20, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 7

ひとこと要約

本稿では、再帰的ヒルベルト空間（RKHS）における誤差逆伝播を介してデータ依存カーネルをエンドツーエンドで学習する、新しい深層学習フレームワークである教師あり畝込みカーネルネットワーク（SCKNs）を紹介する。各層でRKHS内での線形部分空間を教師付き損失関数を用いて最適化することにより、SCKNsは画像分類（CIFAR-10で10.20%の誤差、SVHNで2.04%）で競争力のある性能を達成し、画像超解像分野でも最先端の結果を示し、従来のCNNベースの手法を上回った。

ABSTRACT

In this paper, we introduce a new image representation based on a multilayer kernel machine. Unlike traditional kernel methods where data representation is decoupled from the prediction task, we learn how to shape the kernel with supervision. We proceed by first proposing improvements of the recently-introduced convolutional kernel networks (CKNs) in the context of unsupervised learning; then, we derive backpropagation rules to take advantage of labeled training data. The resulting model is a new type of convolutional neural network, where optimizing the filters at each layer is equivalent to learning a linear subspace in a reproducing kernel Hilbert space (RKHS). We show that our method achieves reasonably competitive performance for image classification on some standard "deep learning" datasets such as CIFAR-10 and SVHN, and also for image super-resolution, demonstrating the applicability of our approach to a large variety of image-related tasks.

研究の動機と目的

• 従来のカーネル手法と深層学習の間のギャップを埋めるために、データ適応型カーネルのエンドツーエンド学習を可能にする。
• 表現学習と予測を分離する従来のカーネル手法の制限を克服し、RKHS内の特徴部分空間を同時に最適化する。
• データオーギュメンテーションやモデルアンサンブルなしに、CIFAR-10 や SVHN といった標準的な深層学習ベンチマークでカーネルベースのモデルが競争力のある性能を示すことを実証する。
• 誤差逆伝播と識別的部分空間学習を用いて、非教師ありから教師あり学習へと畝込みカーネルネットワーク（CKNs）を拡張する。
• 画像超解像を含む多様な画像タスクにおいてフレームワークを検証し、分類を越えた汎用性を示す。

提案手法

• 各層が再帰的ヒルベルト空間（RKHS）内の線形部分空間を学習する新しいアーキテクチャを提案し、誤差逆伝播により最適化されるフィルタでパラメータ化する。
• 分類および回帰のための部分空間を同時に最適化する微分可能損失関数を導入することで、非教師ありCKNsを教師あり学習に適応する。
• 無限次元のRKHS表現を計算的に扱えるようにするため、カーネル近似技術（例：ランダムフーリエ特徴）を用いる。
• カーネルパラメータに誤差逆伝播のルールを適用し、勾配降下法を用いてネットワーク全体をエンドツーエンドで訓練可能にする。
• 二段階パイプラインを採用：非教師ありのカーネル部分空間の事前学習と、その後のラベル付きデータを用いたファインチューニング。
• 超解像タスクでは、9層のSCKN（1層あたり128フィルタ）と線形出力ヘッドを用いて、多変量回帰として定式化する。

実験結果

リサーチクエスチョン

• RQ1 誤差逆伝播とカーネル表現および予測タスクの同時最適化により、カーネル手法をエンドツーエンド学習に適応可能か？
• RQ2 誤差逆伝播を用いてRKHS内に線形部分空間を学習することで、標準的な画像分類ベンチマークで競争力のある性能が得られるか？
• RQ3 提案されたSCKNフレームワークは、分類を越えて画像超解像のような他の画像タスクにも一般化可能か？
• RQ4 データオーギュメンテーションなしに、SCKNsの性能は標準的なCNNと比べて正確性および頑健性に優れているか？
• RQ5 非教師ありのカーネル部分空間の事前学習が、教師ありの下流タスク性能を向上させるか？

主な発見

• SCKNsは、データオーギュメンテーションやモデルアンサンブルなしに、CIFAR-10で10.20%、SVHNで2.04%のテスト誤差を達成し、標準ベンチマークで強い性能を示した。
• 画像超解像分野では、最近のCNNベースの手法を上回り、Set5ではx2拡大で37.07 dBのPSNR、Kodimではx3拡大で29.88 dBを達成した。
• 16,384フィルタを有する2層のSCKNは、非教師あり設定でCIFAR-10で14.2%の誤差を達成し、元のCKNsを上回った。
• 1層あたり128フィルタに削減した場合、CIFAR-10で11.95%、SVHNで2.15%の誤差を記録し、モデル複雑度に対して頑健であることが示された。
• 非教師ありバージョンのSCKNは、元のCKNsと比べて2桁速く学習可能であり、CIFAR-10での誤差は19.3%（SCKN）対21.7%（CKNs）と、より高い精度を達成した。
• 本手法は逆問題に対しても良好に一般化され、複数の標準データセットで最先端のCNNベースの超解像モデルを上回った。