[논문 리뷰] Structure Learning of Deep Networks via DNA Computing Algorithm

Guoqiang Zhong, Tao Li외 2명|arXiv (Cornell University)|2018. 10. 25.

DNA and Biological Computing참고 문헌 17인용 수 4

한 줄 요약

이 논문은 스킵 커넥션을 갖춘 고성능 딥 뉴럴 네트워크 아키텍처를 자동으로 학습하기 위해 DNA 계산 기반 알고리즘을 제안한다. 레이어를 짧은 DNA 스트랜드로 인코딩하고, 기저서열 결합을 통해 네트워크를 긴 DNA 스트랜드로 표현함으로써, 영향을 받는 아키텍처 공간을 탐색하고, MNIST에서 99.73%의 정확도와 CIFAR-10에서 95.10%의 정확도를 달성하며, 초기 정지 기법이 몇 번의 학습 에포크 후에 낮은 성능을 보이는 모델을 효과적으로 제거한다는 것을 입증한다.

ABSTRACT

Convolutional Neural Network (CNN) has gained state-of-the-art results in many pattern recognition and computer vision tasks. However, most of the CNN structures are manually designed by experienced researchers. Therefore, auto- matically building high performance networks becomes an important problem. In this paper, we introduce the idea of using DNA computing algorithm to automatically learn high-performance architectures. In DNA computing algorithm, we use short DNA strands to represent layers and long DNA strands to represent overall networks. We found that most of the learned models perform similarly, and only those performing worse during the first runs of training will perform worse finally than others. The indicates that: 1) Using DNA computing algorithm to learn deep architectures is feasible; 2) Local minima should not be a problem of deep networks; 3) We can use early stop to kill the models with the bad performance just after several runs of training. In our experiments, an accuracy 99.73% was obtained on the MNIST data set and an accuracy 95.10% was obtained on the CIFAR-10 data set.

연구 동기 및 목표

• 고성능 컨볼루션 네트워크(CNN) 아키텍처를 수작업으로 설계하는 데 드는 시간과 전문 지식의 부담을 줄이기 위해.
• 고정 스테이지 또는 평탄한 스택 인코딩 시스템의 한계를 극복하고, 임의의 레이어 간 스킵 커넥션을 지원하는 더 유연한 아키텍처 탐색 공간을 제공하기 위해.
• 레이어와 네트워크를 표현하기 위해 DNA 스트랜드를 사용하는 새로운 인코딩 체계를 개발하여, 다양한 아키텍처를 동시에 탐색할 수 있도록 하기 위해.
• 초기 성능 기반의 초기 정지를 적용하여 낮은 성능을 보이는 모델을 빨리 제거함으로써 학습 시간과 계산 비용을 줄이기 위해.

제안 방법

• 각 레이어는 레이어 유형과 스킵 커넥션 정보를 포함하는 짧은 DNA 스트랜드로 인코딩되며, 각 스트랜드는 신경망 내의 단일 레이어를 나타낸다.
• 완전한 네트워크 아키텍처는 기저서열 결합을 통해 짧은 DNA 스트랜드들을 긴 스트랜드로 조립함으로써 형성되며, 신경망 구성 요소의 조립을 시뮬레이션한다.
• DNA 계산 과정은 'DNA 스튜'와 유사한 생화학 반응을 모방하여, 대량의 후보 아키텍처(긴 DNA 스트랜드)를 동시에 생성한다.
• 각 후보 아키텍처는 데이터셋에서 학습되며, 검증 세트에서의 성능이 적합도를 결정한다. 초기 정지 기법을 사용해 몇 에포크 후에 성능이 열악한 모델을 제거한다.
• 탐색 공간은 스킵 커넥션을 포함하는 아키텍처로 정의되며, 이는 유연한 깊이, 풀링 레이어의 수, 그리고 레이어 간 임의의 연결을 허용한다.
• 이 방법은 컴퓨터 시뮬레이션을 통해 구현되며, 데이터 증강과 표준 학습 프로토콜을 사용하여 MNIST와 CIFAR-10에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 DNA 계산 기법이 스킵 커넥션을 갖춘 고성능 딥 뉴럴 네트워크 아키텍처를 효과적으로 탐색하고 생성하는 데에 적합한가?
• RQ2 제안된 DNA 기반 인코딩 체계가 고정 스테이지 또는 평탄한 스택 방법에 비해 더 유연하고 제약이 적은 아키텍처 탐색 공간을 제공하는가?
• RQ3 초기 학습 성능 기반의 초기 정지 기법이 낮은 성능을 보이는 모델을 신뢰성 있게 식별하고, 최종 정확도에 미치는 영향을 최소화하면서 신속히 제거할 수 있는가?
• RQ4 DNA 기반 탐색 공간 내의 모델들이 얼마나 유사한 성능을 보이며, 이는 지역 최소값이 딥 네트워크 학습에서 주요 장애물이 아니라는 것을 시사하는가?
• RQ5 비전문가도 이 자동 아키텍처 탐색 방법을 사용해 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 DNA 계산 알고리즘이 고성능 모델을 성공적으로 생성하여, MNIST 데이터셋에서 99.73%의 테스트 정확도를 달성했다.
• CIFAR-10 데이터셋에서 최고 성능을 보인 모델은 95.10%의 테스트 정확도를 기록하여 최신 기술 수준의 방법들과 경쟁 가능한 성능을 보였다.
• 탐색 공간 내 대부분의 모델들이 유사한 성능을 보였으며, 초기에 일관되게 낮은 성능을 보이는 모델은 소수에 그쳤다.
• 정의된 정확도 기준을 충족하지 못할 경우 10, 20, 또는 45 에포크 후에 초기 정지를 적용함으로써, 성능이 열악한 모델을 효과적으로 제거할 수 있었으며, 전체 정확도에 미치는 영향은 최소였다.
• 결과적으로 지역 최소값이 이 탐색 전략을 사용할 경우 딥 네트워크 학습에서 중요한 문제로 작용하지 않는다는 것이 시사된다.
• 이 방법은 더 적은 학습 반복 수로도 높은 정확도를 달성할 수 있어, 계산 비용을 크게 줄이고도 모델 성능를 유지할 수 있다.