[論文レビュー] An Analysis of the Connections Between Layers of Deep Neural Networks

Eugenio Culurciello, Jonghoon Jin+2 more|arXiv (Cornell University)|Jun 1, 2013

Advanced Neural Network Applications参考文献 32被引用数 9

ひとこと要約

この論文は、小さな教師なし深層ニューラルネットワークにおける層間の接続トポロジーを調査し、特徴マップを受容 field にグループ化する一対一、ランダム、類似性ベースのグループ化を比較している。ランダムなファンイン接続（特にK=2）が、学習済みまたは完全接続された接続を上回り、CIFAR-10 および SVHN で最大3%の精度向上を達成した。小規模なネットワークでは、特徴共起に基づく受容 field の学習には恩恵がなかった。

ABSTRACT

We present an analysis of different techniques for selecting the connection be- tween layers of deep neural networks. Traditional deep neural networks use ran- dom connection tables between layers to keep the number of connections small and tune to different image features. This kind of connection performs adequately in supervised deep networks because their values are refined during the training. On the other hand, in unsupervised learning, one cannot rely on back-propagation techniques to learn the connections between layers. In this work, we tested four different techniques for connecting the first layer of the network to the second layer on the CIFAR and SVHN datasets and showed that the accuracy can be im- proved up to 3% depending on the technique used. We also showed that learning the connections based on the co-occurrences of the features does not confer an advantage over a random connection table in small networks. This work is helpful to improve the efficiency of connections between the layers of unsupervised deep neural networks.

研究の動機と目的

• 層間の異なる接続トポロジーを分析することで、教師なし深層ニューラルネットワークの効率性と性能を向上させること。
• 特徴共起に基づく受容 field の学習が、ランダムまたは固定された接続パターンよりも性能を向上させるかを評価すること。
• フィルタ数が限られた小規模ネットワーク（32）における接続テーブルの最適なファンイン（K）値を特定すること。
• プーリングおよびデータ前処理が、小規模でリアルタイム対応可能なネットワークにおける分類精度に与える影響を評価すること。

提案手法

• バックプロパゲーションを用いず、クラスタリング学習（CL）を用いて1層の特徴マップを次の層の受容 field（RF）にグループ化した。
• 4 種類の接続手法を検討：一対一（K=1）、ランダムなファンイン（K=2,4,8,16）、類似性ベースのグループ化（学習済み RF）、完全接続（K=32）。
• 空間的およびチャネルワイドのプーリングに加え、カラー・バイパスを適用して特徴表現および分類器の入力を強化した。
• ラベルの欠如によりバックプロパゲーションを避けるために、CIFAR-10 および SVHN で教師なしクラスタリング学習を用いてネットワークを訓練した。
• 標準ハードウェアでリアルタイム性能を確保するため、32 フィルタ/層の2層構造を採用した。
• 視覚的および定量的評価を通じて、フィルタおよび特徴マップの選択性と性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 小規模な教師なし深層ネットワークにおいて、特徴共起に基づく受容 field の学習は性能を向上させるか？
• RQ2 小規模な深層ネットワークにおけるファンイン（K）は、教師あり学習を伴わない状況で分類精度にどのように影響するか？
• RQ3 ランダムな接続パターンは、学習済みまたは完全接続された接続テーブルを上回る性能を示すか？
• RQ4 プーリングおよびデータ前処理は、小規模でリアルタイム対応可能な深層ネットワークにおける性能にどのような影響を与えるか？

主な発見

• CIFAR-10 において、K=2 のランダムなファンインが 73.2% の最高精度を達成し、一対一（72.8%）やより高いファンイン設定を上回った。
• 完全接続された受容 field は、次元の呪いと選択性の欠如による学習の不十分さのため、性能が低かった。特に 32 個の入力特徴マップを扱う場合に顕著だった。
• 小規模なネットワークでは、類似性に基づく受容 field の学習がランダムグループ化よりも性能に優位性を示さなかった。
• K=2 を超えてファンインを増加させると精度が低下し、K=16 の場合では CIFAR-10 でわずか 70.0% にとどまった。
• 画像のダウンサンプリングおよびカラー・バイパスにより、精度が約4%向上した。これは、アーキテクチャの改善が性能向上に寄与することを示している。
• ランダム接続で学習されたフィルタは、完全接続テーブルから得られたフィルタよりも特異性が高かった。完全接続では均一で選択性のない外観を示した。