[논문 리뷰] Implementation of Training Convolutional Neural Networks

Tianyi Liu, Shuangsang Fang외 3명|arXiv (Cornell University)|2015. 06. 03.

Face and Expression Recognition참고 문헌 7인용 수 125

한 줄 요약

이 논문은 자바를 사용한 합성곱 신경망(CNNs) 훈련의 구체적인 구현을 제시하며, 전방 및 역전파 과정을 모두 다룹니다. 효율적인 훈련을 위해 병렬 전략을 도입하여 전방 및 역방향 계산의 실측 시간 측정을 바탕으로 이론적 속도 향상과 병렬 효율성 분석을 수행합니다.

ABSTRACT

Deep learning refers to the shining branch of machine learning that is based on learning levels of representations. Convolutional Neural Networks (CNN) is one kind of deep neural network. It can study concurrently. In this article, we gave a detailed analysis of the process of CNN algorithm both the forward process and back propagation. Then we applied the particular convolutional neural network to implement the typical face recognition problem by java. Then, a parallel strategy was proposed in section4. In addition, by measuring the actual time of forward and backward computing, we analysed the maximal speed up and parallel efficiency theoretically.

연구 동기 및 목표

• 교육적 및 실용적 목적을 위해 자바를 사용한 CNN 훈련의 종합적인 구현을 제공하기 위해.
• CNN 훈련 메커니즘을 이해하기 위해 전방 및 역전파 과정을 상세히 분석하기 위해.
• 훈련 효율성을 향상시키기 위해 병렬 전략을 설계하고 평가하기 위해.
• 실측 시간 측정 데이터를 바탕으로 속도 향상과 병렬 효율성을 측정하고 이론적으로 분석하기 위해.

제안 방법

• 저자들은 합성곱, 풀링 및 완전 연결층을 포함한 전체 CNN 훈련 파이프라인을 자바로 구현합니다.
• 전방 전파를 계층별로 구현하여 컨볼루션 연산과 ReLU와 같은 비선형 함수를 통해 활성화를 계산합니다.
• 모든 계층의 기울기 계산을 위해 체인 규칙을 적용하고, 가중치 및 편향 업데이트를 수행합니다.
• 병렬 전략을 제안하여 복수의 스레드 또는 프로세서에 계산을 분산시키며, 주로 컨볼루션 및 기울기 연산에 집중합니다.
• 측정된 전방 및 역방향 전파 실행 시간에서 이론적 속도 향상과 병렬 효율성을 유도합니다.
• 실제 적용 가능성을 입증하기 위해 얼굴 인식 작업에서 구현을 검증합니다.

실험 결과

연구 질문

• RQ1 교육적 및 연구적 목적을 위해 자바에서 완전한 CNN 훈련 파이프라인을 효과적으로 어떻게 구현할 수 있는가?
• RQ2 CNN의 전방 및 역방향 전파에서 주요 계산 병목 현상은 무엇인가?
• RQ3 병렬화 전략은 CNN 훈련 속도 향상에 얼마나 효과적인가?
• RQ4 CNN 훈련에서 병렬 계산을 통해 이론적으로 달성 가능한 속도 향상과 병렬 효율성은 무엇인가?
• RQ5 이 구현은 얼굴 인식과 같은 실제 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• 자바를 사용하여 얼굴 인식 작업에서 CNN을 성공적으로 훈련시켰으며, 이는 고수준 딥러닝 구현이 이 언어에서 가능함을 보여줍니다.
• 성능 향상의 이론적 분 析를 가능하게 하기 위해 전방 및 역방향 전파 실행 시간을 측정했습니다.
• 제안된 병렬 전략은 측정된 속도 향상과 이론적 병렬 효율성을 기반으로 측정 가능한 속도 향상을 달성했습니다.
• 이론적 분석 결과, 병렬화가 특히 대규모 합성곱 연산에서 훈련 시간을 크게 감소시킬 수 있음을 확인했습니다.
• 이 연구는 전방 및 역방향 전파가 모두 계산적으로 집약적이므로 최적화 및 병렬화의 필요성을 확인했습니다.