[論文レビュー] Deep SimNets

Nadav Cohen, Or Sharir+1 more|arXiv (Cornell University)|Jun 9, 2015

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、類似度関数と対数平均指数（MEX）演算子を用いて、より高い表現力を持つように一般化された深層階層型アーキテクチャであるSimNetsを提案する。内積を学習可能な類似度関数に置き換え、特徴量の集約にMEXを用いることで、実行時間制約下でも従来のConvNetsを上回る精度を達成し、大規模な設定において正則化を適用しても最先端の性能を維持する。

ABSTRACT

We present a deep layered architecture that generalizes convolutional neural networks (ConvNets). The architecture, called SimNets, is driven by two operators: (i) a similarity function that generalizes inner-product, and (ii) a log-mean-exp function called MEX that generalizes maximum and average. The two operators applied in succession give rise to a standard neuron but in space. The feature spaces realized by SimNets depend on the choice of the similarity operator. The simplest setting, which corresponds to a convolution, realizes the feature space of the Exponential kernel, while other settings realize feature spaces of more powerful kernels (Generalized Gaussian, which includes as special cases RBF and Laplacian), or even dynamically learned feature spaces (Generalized Multiple Kernel Learning). As a result, the SimNet contains a higher abstraction level compared to a traditional ConvNet. We argue that enhanced expressiveness is important when the networks are small due to run-time constraints (such as those imposed by mobile applications). Empirical evaluation validates the superior expressiveness of SimNets, showing a significant gain in accuracy over ConvNets when computational resources at run-time are limited. We also show that in large-scale settings, where computational complexity is less of a concern, the additional capacity of SimNets can be controlled with proper regularization, yielding accuracies comparable to state of the art ConvNets.

研究の動機と目的

• 実行時間の計算制約下における標準的なConvNetsの表現力の制限を解決すること。
• 新しい微分可能演算子を用いて、畳み込みネットワークを一般化する深層アーキテクチャを開発すること。
• 一般化されたカーネル関数を介してデータに適応する特徴空間学習を可能にすること。
• 拡張された容量の制御による正則化を適用することで、大規模な設定でも高い精度を維持すること。
• リソース制限のある環境および大規模な学習タスクにおいて、改善された性能を示すこと。

提案手法

• アーキテクチャは、標準的なニューロンにおける内積演算を一般化する類似度関数を用いる。
• MEX（対数平均指数）演算子は、平均プーリングと最大プーリングの両方を一般化し、微分可能な集約を可能にする。
• 類似度関数とMEXの組み合わせにより、特徴空間で動作する一般化されたニューロンが形成される。
• 異なる類似度関数により、RBF、ラプラシアン、および一般化された複数カーネル学習を含む、さまざまなカーネル誘導型特徴空間が実現される。
• 類似度演算子のエンドツーエンド学習により、動的に学習された特徴空間をサポートする。
• 大規模な設定における容量の制御のため、正則化が適用され、過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 類似度ベースの演算を用いて、ConvNetsを一般化する深層アーキテクチャは、表現力を向上させることができるか？
• RQ2 MEX演算子は、微分可能かつ一貫した形で平均プーリングと最大プーリングを統合的に扱えるか？
• RQ3 一般化されたカーネルベースの特徴空間を用いることで、計算制約下におけるモデルの精度にどのような影響を与えるか？
• RQ4 正則化を適用した場合、SimNetsは大規模な設定において最先端の性能を達成できるか？
• RQ5 SimNetsの向上した表現力は、リソースが限られた推論環境において測定可能な精度向上をもたらすか？

主な発見

• 計算リソースが制限される状況下で、SimNetsは標準的なConvNetsよりも顕著な精度向上を達成する。
• 一般化されたカーネル関数（例：一般化ガウス型）の使用により、標準的な畳み込みよりも洗練された特徴表現が可能になる。
• 大規模な設定では、適切な正則化によりSimNetsは最先端のConvNet性能に達する。
• エンドツーエンド学習による類似度演算子の訓練により、動的に学習された特徴空間をサポートする。
• MEX演算子は、最大プーリングと平均プーリングの両方に対する微分可能で統一的な代替手段を提供する。
• 類似度ベースの定式化により、内積が一般化され、固定カーネルにとどまらない特徴空間学習が可能になる。