[論文レビュー] Refining Architectures of Deep Convolutional Neural Networks

Sukrit Shankar, Duncan Robertson+3 more|arXiv (Cornell University)|Apr 22, 2016

Advanced Neural Network Applications参考文献 23被引用数 4

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）のアーキテクチャの見直し手法を提案し、2つの操作であるレイヤーのストレッチ（隠れユニットの増加）と対称的スプリット（入力/出力チャネルのK等分と対応するグループ間接続）を用いて、モデルサイズを小さくしながら精度を向上させる。GoogleNetおよびVGG-11に対してSUN AttributesおよびCAMIT-NSADデータセットで適用した結果、ベースラインより高い精度を達成した—特にSUN Attributesでは顕著—かつパラメータ数を削減した。一部のケースではWin-Winのトレードオフを実現し、他のケースでは代替手段として有効であることが示された。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have recently evinced immense success for various image recognition tasks. However, a question of paramount importance is somewhat unanswered in deep learning research - is the selected CNN optimal for the dataset in terms of accuracy and model size? In this paper, we intend to answer this question and introduce a novel strategy that alters the architecture of a given CNN for a specified dataset, to potentially enhance the original accuracy while possibly reducing the model size. We use two operations for architecture refinement, viz. stretching and symmetrical splitting. Our procedure starts with a pre-trained CNN for a given dataset, and optimally decides the stretch and split factors across the network to refine the architecture. We empirically demonstrate the necessity of the two operations. We evaluate our approach on two natural scenes attributes datasets, SUN Attributes and CAMIT-NSAD, with architectures of GoogleNet and VGG-11, that are quite contrasting in their construction. We justify our choice of datasets, and show that they are interestingly distinct from each other, and together pose a challenge to our architectural refinement algorithm. Our results substantiate the usefulness of the proposed method.

研究の動機と目的

• 事前学習済みCNNアーキテクチャが、与えられたデータセットにおいて精度とモデルサイズの観点で最適であるかどうかという未解決の問いに応えること。
• 層の幅と接続パターンを変更することでCNNアーキテクチャを最適化する戦略を開発すること。
• 再訓練を完全に再開することなく、精度を向上させたりモデルサイズを縮小したりしたいユーザーに対して実用的な代替手段を提供すること。
• 対照的なCNNアーキテクチャを有する多様で挑戦的なデータセットにおいて、アーキテクチャの見直しの有効性を評価すること。

提案手法

• 本手法は事前学習済みCNNを出発点とし、2つの操作を適用する：ストレッチ（層内の隠れユニット数の増加）と対称的スプリット（入力・出力チャネルをK個の等しいグループに分割し、対応するグループ同士を接続）。
• クラス分離性能が不十分な層に対してストレッチを適用し、表現能力を向上させる。一方、対称的スプリットはグループ化畳み込みを導入することでパラメータ数を削減する。
• 各畳み込み層において、クラス分離性能に基づいて、最適なストレッチおよびスプリット要因を検証セットを用いてガイドしながら、貪欲に選択する。
• 本手法は畳み込み層にのみ適用され、元のネットワークの深さと全体的な構造は維持される。
• 評価には精度@kを指標とし、kはテストセットにおける1枚の画像あたりの正例ラベルの最大数に設定される。
• 学習にはCaffeを用い、適応的学習率スケジューリングと100エポックを採用。アーキテクチャの見直しは事前学習後に行われ、ネットワーク全体の再学習は行わない。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズを増加させずに、ストレッチと対称的スプリットによるアーキテクチャの見直しが、事前学習済みCNNの精度を向上させることができるか？
• RQ2 ストレッチとスプリットの併用は、単独で使用する場合と比較して、性能向上にどのように寄与するか？
• RQ3 本手法は、既存のスパarsityベースラインと比較して、精度とモデルサイズのトレードオフをより良く実現できるか？
• RQ4 本手法は、SUN Attributesのような一部のデータセットでは精度向上に成功するが、CAMIT-NSADのような他のデータセットでは失敗する理由は何か？
• RQ5 クラス固有の情報が複数の層に分散してエンコードされるような状況において、貪欲かつ層ごとの見直し戦略が、特徴表現の最適化を効果的に可能にするか？

主な発見

• SUN Attributesデータセットでは、本手法がベースラインモデルおよびスパarsityベースラインを上回る高い精度を達成した。モデルサイズは顕著に削減され、Win-Winの成果が得られた。
• VGG-11およびGoogleNetのSUN Attributesにおける実験では、パラメータ数を削減しながらも精度が向上した。特に畳み込み層において顕著であった。
• ストレッチと対称的スプリットの併用は、単独での使用よりも効果的であり、アーキテクチャの見直しにおける相乗効果が示された。
• CAMIT-NSADでは、モデルサイズは削減されたが精度はわずかに低下した。しかし、その結果として得られたモデルは、スパarsityベースラインを上回る精度を達成した。
• アルゴリズムの貪欲な性質は、複雑で多段階の特徴エンコード（例：CAMIT-NSADの属性-名詞ペア）を有するデータセットでは性能を制限する可能性がある。このような場合、層間の共同最適化がより重要である。
• 結果から、スパarsityとは補完的かつ実用的な戦略として、アーキテクチャの見直しが、特に精度とモデル効率を重視するユーザーにとって有効であることが示された。