[論文レビュー] SimNets: A Generalization of Convolutional Networks

Nadav Cohen, Amnon Shashua|arXiv (Cornell University)|Oct 3, 2014

Advanced Neural Network Applications参考文献 28被引用数 18

ひとこと要約

SimNets は、畳み込みニューラルネットワークの一般化を導入し、畳み込みを拡張する類似性演算子と、ReLU やプーリングを一般化する新しい MEX（ソフトマックス・ミニマム・ミーン）活性化関数を採用する。このアーキテクチャにより、同等の ConvNet よりも 9 倍小さいネットワークで最先端の精度を達成でき、自然な自己教師あり初期化が可能となり、カーネル機械よりも高い抽象化レベルを提供する。

ABSTRACT

We present a deep layered architecture that generalizes classical convolutional neural networks (ConvNets). The architecture, called SimNets, is driven by two operators, one being a similarity function whose family contains the convolution operator used in ConvNets, and the other is a new soft max-min-mean operator called MEX that realizes classical operators like ReLU and max pooling, but has additional capabilities that make SimNets a powerful generalization of ConvNets. Three interesting properties emerge from the architecture: (i) the basic input to hidden layer to output machinery contains as special cases kernel machines with the Exponential and Generalized Gaussian kernels, the output units being "neurons in feature space" (ii) in its general form, the basic machinery has a higher abstraction level than kernel machines, and (iii) initializing networks using unsupervised learning is natural. Experiments demonstrate the capability of achieving state of the art accuracy with networks that are an order of magnitude smaller than comparable ConvNets.

研究の動機と目的

• 古典的な ConvNets をより抽象的でカーネルに類似した枠組みに一般化するための深層階層型アーキテクチャの開発。
• モデルのコンパクト性の限界と、有効な自己教師あり初期化の欠如という ConvNets の問題を解決するため、ラベルなしデータに基づく自然な初期化スキームの導入。
• カーネル機械とディープラーニングの溝を埋めるために、カーネル法（例：指数関数的および一般化ガウス型カーネルを用いた SVM）を深層ネットワーク構造内に埋め込むこと。
• ラベルなし特徴パターンの分散分析を用いて、ネットワークの深さとチャネル数を自動的に決定すること。
• 提案されたアーキテクチャが、最先端の ConvNets よりもはるかに少ないパラメータで優れたもしくは同等の性能を達成できることの実証。

提案手法

• 学習可能な重みを備えた $ l_p $-ノルムを用いた類似性演算子を導入し、標準のカーネル機械よりも広い仮説空間を実現する。これは、畳み込み内積の一般化である。
• ReLU やプーリング層を一般化する MEX 演算子（ソフトマックス・ミニマム・ミーン関数）を提案し、学習可能なオフセットにより特徴表現における局所性ベースのバイアスを可能にする。
• 各層が類似性演算子と MEX 演算子を逐次適用する多層カーネルネットワークとしてネットワークを定式化し、従来の ConvNet 層よりも高いレベルの抽象化を実現する。
• ラベルなしデータ上での一般化ガウス分布混合の統計的推定を用いて自己教師あり初期化を可能にし、初期パラメータとチャネル数を自然に決定する。
• 重み付き $ l_p $ 類似性を用いることで、カーネル-SVM の仮説空間を越える拡張が可能となり、より強力な表現能力を持つ新しい構築ブロックを導入する。
• 基本的な SimNet アーキテクチャを実装し、CIFAR-10 において同等の深さの ConvNets および先行研究の単一層ネットワークとベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 抽象化とコンパクト性を向上させつつ、ConvNets を一般化する深層ネットワークアーキテクチャを設計可能か？
• RQ2 類似性演算子に学習可能な重みを組み込むことで、標準のカーネル機械を上回る表現力が得られるか？
• RQ3 自己教師学習を効果的に活用して SimNet のパラメータを初期化できるか？また、ランダム初期化より優れるか？
• RQ4 分散分析を用いて、ラベルなしデータからネットワーク構造（例：各層のチャネル数）を自動的に決定できるか？
• RQ5 SimNets は、同等の ConvNets よりもはるかに少ないパラメータで最先端の性能を達成できるか？

主な発見

• SimNets は、CIFAR-10 において、学習パラメータ数が約 1/9 の状態で、最先端の ConvNets と同等または優れた精度を達成した。
• 類似性演算子に重みを組み込むことで、パラメータ数に対して性能が非線形的に向上し、カーネル-SVM を上回る表現力の優位性が示された。
• 一般化ガウス分布混合の推定に基づく自己教師あり初期化は、ランダム初期化を上回り、特に小さなネットワーク設定において顕著な性能向上を示した。
• 学習可能なオフセットを備えた MEX 層により、従来の ConvNets では表現できない局所性ベースのバイアスが可能となり、モデリングの柔軟性が向上した。
• ラベルなし特徴パターンの分散分析を用いた自動チャネル決定が自然に可能であり、データ駆動型のネットワーク構造設計を可能にした。
• 重み付き $ l_p $ 類似性演算子はカーネル-SVM 框組みでは実現不可能であり、従来のカーネル機械よりも大きな仮説空間にアクセス可能であることを示した。