[논문 리뷰] Theano-based Large-Scale Visual Recognition with Multiple GPUs

Wei‐Guang Ding, Ruoyan Wang외 2명|arXiv (Cornell University)|2014. 01. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 5

한 줄 요약

이 논문은 단일 GPU에서 Caffe와 유사한 성능을 달성하는, 다중 GPU에 걸쳐 단순 데이터 병렬 처리를 사용한 첫 번째 오픈소스 Theano 기반 AlexNet의 구현을 제시한다. 이 방법은 파이썬 기반 딥러닝을 사용한 대규모 시각 인식과 효율적인 다중 GPU 학습을 가능하게 한다.

ABSTRACT

In this report, we describe a Theano-based AlexNet (Krizhevsky et al., 2012) implementation and its naive data parallelism on multiple GPUs. Our performance on 2 GPUs is comparable with the state-of-art Caffe library (Jia et al., 2014) run on 1 GPU. To the best of our knowledge, this is the first open-source Python-based AlexNet implementation to-date.

연구 동기 및 목표

• 대규모 시각 인식을 위한 Theano 기반 AlexNet의 구현을 목적으로 한다.
• 단순 데이터 병렬 처리를 사용한 효율적인 다중 GPU 학습을 가능하게 한다.
• 기존의 Caffe 기반 구현에 대체할 수 있는 오픈소스이자 파이썬 기반의 대안을 제공한다.
• 다중 GPU를 사용할 때 최신 프레임워크 수준의 경쟁력 있는 성능을 입증한다.

제안 방법

• 저자들은 Theano 딥러닝 프레임워크를 사용하여 AlexNet을 구현했다.
• 배치를 두 개의 GPU에 나누어 단순 데이터 병렬 처리를 적용했다.
• 각 GPU는 공유된 모델 파라미터를 사용하여 입력 데이터의 부분 집합을 독립적으로 처리한다.
• 각 GPU 간에 전방 및 역방향 전파 후에 모델 파라미터를 동기화한다.
• 학습 파이프라인이 완전히 미분 가능하며 표준 역전파를 사용해 최적화된다.
• 재현 가능성과 향후 연구를 지원하기 위해 구현을 오픈소스로 공개한다.

실험 결과

연구 질문

• RQ1 Theano 기반의 AlexNet 구현이 Caffe와 같은 최신 프레임워크 수준의 성능을 달성할 수 있는가?
• RQ2 두 개의 GPU에서 AlexNet을 학습하는 데 단순 데이터 병렬 처리가 얼마나 효과적인가?
• RQ3 파이썬 기반 딥러닝 프레임워크가 최적화된 C++ 프레임워크 수준의 성능을 달성할 수 있는가?
• RQ4 이 방법을 사용한 다중 GPU 학습의 확장성과 효율성은 어떠한가?

주요 결과

• 두 개의 GPU를 사용한 Theano 기반 AlexNet 구현은 단일 GPU에서 실행되는 Caffe와 유사한 성능을 달성한다.
• 이 구현은 다중 GPU 지원을 하는 첫 번째 오픈소스 파이썬 기반 AlexNet이다.
• 단순 데이터 병렬 처리는 유의미한 오버헤드 없이 두 개의 GPU에 걸쳐 학습을 효과적으로 확장한다.
• 이 프레임워크는 완전한 재현 가능성과 확장성을 갖춘 대규모 시각 인식을 가능하게 한다.