[論文レビュー] Understanding Deep Architectures using a Recursive Convolutional Network

David Eigen, Jason Tyler Rolfe+2 more|arXiv (Cornell University)|Dec 6, 2013

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 25

ひとこと要約

この論文は、再帰的で重みが共有されたアーキテクチャを用いて、畳み込みニューラルネットワークにおける深さ、特徴マップ数、パラメータ数の独立した効果を調査する。パラメータ数とレイヤー数を増やすことで性能が向上するが、特徴マップの次元数にはほとんど影響がない。特徴マップの利点の多くは、表現能力の向上によるものではなく、主にパラメータ数の増加に起因する。

ABSTRACT

A key challenge in designing convolutional network models is sizing them appropriately. Many factors are involved in these decisions, including number of layers, feature maps, kernel sizes, etc. Complicating this further is the fact that each of these influence not only the numbers and dimensions of the activation units, but also the total number of parameters. In this paper we focus on assessing the independent contributions of three of these linked variables: The numbers of layers, feature maps, and parameters. To accomplish this, we employ a recursive convolutional network whose weights are tied between layers; this allows us to vary each of the three factors in a controlled setting. We find that while increasing the numbers of layers and parameters each have clear benefit, the number of feature maps (and hence dimensionality of the representation) appears ancillary, and finds most of its benefit through the introduction of more weights. Our results (i) empirically confirm the notion that adding layers alone increases computational power, within the context of convolutional layers, and (ii) suggest that precise sizing of convolutional feature map dimensions is itself of little concern; more attention should be paid to the number of parameters in these layers instead.

研究の動機と目的

• 畳み込みニューラルネットワークにおけるネットワークの深さ（レイヤー数）、特徴マップの次元（特徴マップ）、モデル容量（パラメータ数）の独立した寄与を解明すること。
• これらの要因が相関関係にあり、個別に評価することが難しいため、CNNのアーキテクチャ設計の課題に対処すること。
• 固定されたパラメータ予算のもとで、特徴マップのサイズを増やすか、レイヤー数を増やすかのどちらが性能向上に寄与するかを特定すること。
• パラメータ数を一定に保ったもとで、より深いネットワーク（特徴マップが少ない）と浅いネットワーク（特徴マップが多い）を比較し、性能に差が出るかを評価すること。

提案手法

• すべてのレイヤーで重みが共有される再帰的畳み込みネットワークを設計し、すべてのレイヤーが同じフィルタ重みと同一のアーキテクチャを持つようにする。
• この重み共有モデルを用いて、パラメータ数とレイヤー数を制御しつつ、特徴マップの数を変化させることで、各要因の独立した分析を可能にする。
• CIFAR-10およびSVHNデータセット上で、重み共有モデルと通常の重み非共有モデルをそれぞれ訓練・評価し、制御された条件下での性能を比較する。
• 3つの制御実験を実施する：(1) 特徴マップを固定したもとでレイヤー数とパラメータ数を変化させる；(2) レイヤー数と特徳マップ数を固定したもとでパラメータ数を変化させる；(3) レイヤー数とパラメータ数を固定したもとで特徴マップ数を変化させる。
• 各実験において、重み共有モデルと非共有モデルの性能差を線形回帰を用いて定量的に評価し、各アーキテクチャ要因の相対的影響を測定する。
• 最初のレイヤーの後にマックスプーリングを適用し、ReLU活性化関数を全層に使用し、標準的なCNNの実装と一貫性を保つ。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数や特徴マップのサイズとは独立して、畳み込みネットワークのレイヤー数を増やすことで性能が向上するか？
• RQ2 全パラメータ数を一定に保ったもとで、1レイヤーあたりの特徴マップ数を増やすことで性能が向上するか？
• RQ3 特徴マップ数を増やした際の性能向上は、高次元表現能力によるものか、それとも関連するパラメータ数の増加によるものか？
• RQ4 パラメータをより多くのレイヤーに分散させることで、より少ないレイヤーで広い特徴マップを持つ場合に比べて性能が向上するか？
• RQ5 アーキテクチャ要因を制御したもとで、重み共有の再帰的ネットワークと通常の非共有ネットワークの性能はどのように比較できるか？

主な発見

• パラメータ数と特徴マップ数を一定に保ったもとでレイヤー数を増やすことで、性能が顕著に向上することが確認され、深さそのものが表現能力を高めることを裏付けた。
• パラメータ数と性能には強い正の相関関係があり、複数のレイヤーにパラメータを分散させることで、少ないレイヤーに集中させるよりも優れた結果が得られる。
• レイヤー数とパラメータ数を一定に保ったもとで特徴マップ数を変化させた場合、重み共有モデルと非共有モデルの性能はほとんど同一であり、特徴マップの次元数が独立した影響をほとんど持たないことを示した。
• パラメータ数とレイヤー数を固定したもとで、重み共有モデルと非共有モデルの性能差はほとんどなく、特徴マップ数がパラメータ数に与える影響以外に、モデル容量に顕著な影響を及ぼさないことを示唆している。
• 結果から、性能は主にレイヤー数と全パラメータ数に起因し、特徴マップの次元数に起因するものではないことが明らかになった。これは、アーキテクチャ設計において、特徴マップのサイズよりも深さとパラメータ配分を優先すべきであることを示唆している。
• パラメータをより多くのレイヤーに分散させた実験では、特徴マップの次元が減少しても性能が向上した。これは、深さが広い表現よりもより有益であるという仮説を支持するものである。