[論文レビュー] Structure Learning of Deep Networks via DNA Computing Algorithm

Guoqiang Zhong, Tao Li+2 more|arXiv (Cornell University)|Oct 25, 2018

DNA and Biological Computing参考文献 17被引用数 4

ひとこと要約

本稿では、スキップ接続を備えた高性能な深層ニューラルネットワークアーキテクチャを自動で学習する、DNAコンピューティングにインspiredされたアルゴリズムを提案する。層を短いDNA鎖として符号化し、塩基対合によってネットワークを長いDNA鎖として表現することで、柔軟なアーキテクチャ空間を探索し、MNISTでは99.73%、CIFAR-10では95.10%の精度を達成した。また、早期停止が数エポック以内で性能が低いモデルを効果的に除外することを示した。

ABSTRACT

Convolutional Neural Network (CNN) has gained state-of-the-art results in many pattern recognition and computer vision tasks. However, most of the CNN structures are manually designed by experienced researchers. Therefore, auto- matically building high performance networks becomes an important problem. In this paper, we introduce the idea of using DNA computing algorithm to automatically learn high-performance architectures. In DNA computing algorithm, we use short DNA strands to represent layers and long DNA strands to represent overall networks. We found that most of the learned models perform similarly, and only those performing worse during the first runs of training will perform worse finally than others. The indicates that: 1) Using DNA computing algorithm to learn deep architectures is feasible; 2) Local minima should not be a problem of deep networks; 3) We can use early stop to kill the models with the bad performance just after several runs of training. In our experiments, an accuracy 99.73% was obtained on the MNIST data set and an accuracy 95.10% was obtained on the CIFAR-10 data set.

研究の動機と目的

• 高パフォーマンスな畳み込みニューラルネットワーク（CNN）アーキテクチャを手動で設計することは時間と専門知識を要するため、その課題に対処すること。
• 固定ステージまたはプレーンスタック符号化システムの制限を克服し、任意の層間でスキップ接続をサポートする、より柔軟なアーキテクチャ探索空間を提供すること。
• 層を表すDNA鎖とネットワークを表すDNA鎖を用いた新しい符号化システムを開発し、多様なアーキテクチャの並列探索を可能にすること。
• 初期の性能に基づく早期停止を適用することで、訓練時間と計算コストを削減し、性能が低いモデルを素早く除外すること。

提案手法

• 各層は、層の種別とスキップ接続情報を含む短いDNA鎖として符号化され、それぞれがニューラルネットワーク内の1つの層を表す。
• 完全なネットワークアーキテクチャは、短いDNA鎖を塩基対合によって結合させることで長鎖として構成され、ニューラルネットワーク部品の組み立てを模倣する。
• DNAコンピューティングプロセスにより、並列的に多数の候補アーキテクチャ（長鎖）が生成され、『DNAスープ』における生化学反応を模倣する。
• 各候補アーキテクチャはデータセット上で訓練され、検証セットでの性能がその適応度を決定する。早期停止を用いて、数エポック以内で性能が低いモデルを除外する。
• 探索空間は、スキップ接続を含むアーキテクチャによって定義され、任意の深さ、プーリング層の数、および任意の層間接続をサポートする。
• 本手法は計算的にシミュレートされ、データオーグメンテーションと標準的な訓練プロトコルを用いて、MNISTおよびCIFAR-10で性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 DNAコンピューティングは、スキップ接続を備えた高性能な深層ニューラルネットワークアーキテクチャの探索と生成に効果的に利用できるか？
• RQ2 提案されたDNAベースの符号化システムは、固定ステージまたはプレーンスタック手法と比較して、より柔軟かつ制約の少ないアーキテクチャ探索空間を提供できるか？
• RQ3 初期の訓練性能に基づく早期停止は、性能が低いモデルを信頼性高く特定し、最終精度にほとんど影響を与えずに除外できるか？
• RQ4 DNAコンピューティングによる探索空間内のモデルはどの程度類似した性能を示すか？ これは、局所最適解が深層ネットワークの学習において主要な障壁でないことを示唆するか？
• RQ5 本自動アーキテクチャ探索手法を用いることで、非専門家でもベンチマークデータセットで競争力のある性能を達成できるか？

主な発見

• 提案されたDNAコンピューティングアルゴリズムは、高性能なモデルを効果的に生成し、MNISTデータセットで99.73%のテスト精度を達成した。
• CIFAR-10データセットでは、最良のモデルが95.10%のテスト精度に達し、最先端の手法と比較して競争力のある性能を示した。
• 探索空間内の大多数のモデルは類似した性能を示し、初期から一貫して性能が低いモデルは僅かにしか存在しなかった。
• 10、20、または45エポック後に、事前に定義された精度のしきい値に基づき早期停止を実施したが、性能が低いモデルは効果的に除外され、全体の精度への影響は最小限に抑えられた。
• 結果から、この探索戦略を用いる場合、局所最適解は深層ネットワークの学習において顕著な問題ではないことが示唆された。
• 本手法により、より少ない訓練イテレーションで高い精度が達成され、計算コストは著しく削減されつつも、モデルの性能は維持された。