[논문 리뷰] Distribution of the search of evolutionary product unit neural networks for classification

Antonio J. Tallón‐Ballesteros, Pedro Antonio Gutiérrez외 1명|arXiv (Cornell University)|2012. 05. 15.

Neural Networks and Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 분산 진화 계산 방법을 사용하여 제품 유닛 신경망(PUNNs)을 활용해 최적의 분류 모델을 빠르게 탐색하는 방법을 제안한다. 계산 비용이 높은 진화 알고리즘 프로세스를 컴퓨터 클러스터를 활용해 병렬 처리함으로써, 훈련 및 아키텍처 탐색 과정에서 상당한 속도 향상을 이룩하였으며, 순차적 처리 방식으로는 구현이 어려운 더 복잡하고 정확도가 높은 모델을 설계할 수 있게 되었다.

ABSTRACT

This paper deals with the distributed processing in the search for an optimum classification model using evolutionary product unit neural networks. For this distributed search we used a cluster of computers. Our objective is to obtain a more efficient design than those net architectures which do not use a distributed process and which thus result in simpler designs. In order to get the best classification models we use evolutionary algorithms to train and design neural networks, which require a very time consuming computation. The reasons behind the need for this distribution are various. It is complicated to train this type of nets because of the difficulty entailed in determining their architecture due to the complex error surface. On the other hand, the use of evolutionary algorithms involves running a great number of tests with different seeds and parameters, thus resulting in a high computational cost

연구 동기 및 목표

• 제품 유닛 신경망(PUNNs)을 진화 알고리즘으로 훈련할 때 발생하는 높은 계산 비용을 해결하기 위해.
• 컴퓨터 클러스터에 걸쳐 계산 부담을 분산시켜 최적의 PUNN 아키텍처를 탐색하는 효율성을 향상시키기 위해.
• 진화 훈련 과정에서 복잡한 오차 표면과 광범위한 파라미터 및 시드 테스트가 요구되는 문제를 극복하기 위해.
• 비분산 방식으로는 구현이 어려운 더 복잡하고 정확도가 높은 분류 모델의 설계를 가능하게 하기 위해.

제안 방법

• PUNN 훈련 및 아키텍처 탐색을 위한 진화 알고리즘 실행을 컴퓨터 클러스터에 분산하여 실행하였다.
• 진화 알고리즘을 사용해 네트워크 가중치와 아키텍처(제품 유닛 수 및 연결 수)를 동시에 최적화하였다.
• 다양한 랜덤 시드와 알고리즘 파라미터를 사용한 독립적인 다중 실행을 통해 강건성과 다양한 해의 탐색을 보장하였다.
• 마스터-슬레이브 아키텍처를 구현하여 마스터 노드가 슬레이브 노드 간 작업 배분 및 결과 집계를 조율하였다.
• 진화 과정을 이끄는 데 사용하기 위해 분류 정확도와 일반화 성능에 기반한 피트니스 함수를 적용하였다.
• PUNN의 토폴로지 및 가중치 최적화에 적합한 선택, 교차, 변이 연산자를 적용한 인구 기반 진화 전략을 사용하였다.

실험 결과

연구 질문

• RQ1 분산 컴퓨팅이 최적의 제품 유닛 신경망 구성 탐색에 소요되는 시간을 상당히 줄일 수 있는가?
• RQ2 분류 정확도 및 수렴 속도 측면에서 분산 진화 PUNN 훈련의 성능은 순차적 훈련과 비교해 어떻게 다른가?
• RQ3 다른 시드와 파라미터로 다중 진화 실행을 병렬화할 경우 모델 품질과 다양성에 어떤 영향을 미치는가?
• RQ4 클러스터 인프라 사용이 단일 머신 실행 대비 PUNN 설계의 확장성에 얼마나 기여하는가?

주요 결과

• 분산 방식은 탐색 과정에서 상당한 속도 향상을 이룩하여 순차적 실행으로는 도달할 수 없었던 더 넓은 해 공간 탐색이 가능해졌다.
• 다양한 시드와 파라미터를 사용한 독립적 다중 실행 덕분에 더 강건하고 일반화 성능이 뛰어난 분류 모델가 도출되었다.
• 클러스터 기반 구현 덕분에 단일 머신에서 합리적인 시간 내에 구현이 어려웠던 더 복잡한 PUNN 아키텍처의 훈련이 가능해졌다.
• 이 방법은 PUNN의 복잡한 오차 표면을 성공적으로 극복하여 기준 대비 더 높은 분류 정확도를 보이는 모델를 도출하였다.