[논문 리뷰] Deep Image: Scaling up Image Recognition

Wu Ren, Shengen Yan외 3명|arXiv (Cornell University)|2015. 01. 13.

Advanced Neural Network Applications참고 문헌 54인용 수 330

한 줄 요약

Deep Image는 고해상도 다중 척도 입력, 고도로 최적화된 병렬 알고리즘, 더 큰 딥 네ural 네트워크, 고급 데이터 증강 기법, 맞춤형 슈퍼컴퓨터를 활용하여 확장 가능한 이미지 인식 시스템을 제안한다. 이는 엔드 투 엔드 딥 러닝 최적화를 통해 다양한 컴퓨터 비전 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a state-of-the-art image recognition system, Deep Image, developed using end-to-end deep learning. The key components are a custom-built supercomputer dedicated to deep learning, a highly optimized parallel algorithm using new strategies for data partitioning and communication, larger deep neural network models, novel data augmentation approaches, and usage of multi-scale high-resolution images. Our method achieves excellent results on multiple challenging computer vision benchmarks.

연구 동기 및 목표

• 대규모 시각 데이터셋을 고정밀도로 처리할 수 있는 확장 가능한 이미지 인식 시스템을 개발하는 것.
• 기존 딥 러닝 시스템이 고해상도 이미지에서 대규모 모델을 효율적으로 훈련하는 데에 한계가 있음을 해결하는 것.
• 새로운 데이터 증강 기법과 다중 척도 입력 처리를 통해 인식 정확도를 향상시키는 것.
• 분산 훈련에서 통신 및 데이터 분할을 최적화하여 수렴 속도와 확장성을 향상시키는 것.

제안 방법

• 딥 러닝 워크로드 가속을 위해 특별히 설계된 맞춤형 슈퍼컴퓨터를 사용한다.
• 데이터 분할 및 노드 간 통신에 대한 새로운 전략을 적용한 고도로 최적화된 병렬 알고리즘을 적용한다.
• 시스템의 확장성 덕분에 이전에는 구현이 어려웠던 더 큰 딥 네URAL 네트워크 아키텍처를 훈련한다.
• 모델의 일반화 능력과 강인성을 향상시키기 위해 새로운 데이터 증강 기법을 적용한다.
• 특징 학습을 향상시키기 위해 훈련 및 추론 과정에서 여러 척도의 이미지를 처리한다.
• 엔드 투 엔드 딥 러닝을 통해 인식 파이프라인의 모든 구성 요소를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 딥 러닝 시스템은 어떻게 고해상도 이미지에서 더 큰 모델을 효율적으로 훈련시킬 수 있는가?
• RQ2 분산 딥 러닝에서 훈련 처리량을 극대화하기 위해 어떤 통신 및 데이터 분할 전략이 가장 효과적인가?
• RQ3 다중 척도 입력과 고급 데이터 증강은 인식 정확도를 얼마나 향상시키는가?
• RQ4 맞춤형 슈퍼컴퓨터 아키텍처는 대규모 이미지 인식 작업에서 표준 GPU 클러스터를 능가할 수 있는가?

주요 결과

• Deep Image는 다양한 도전적인 컴퓨터 비전 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 맞춤형 슈퍼컴퓨터는 기존 시스템보다 더 큰 딥 네URAL 네트워크를 더 빠르게 훈련시킬 수 있다.
• 최적화된 데이터 분할 및 통신 전략은 훈련 시간을 단축시키고 확장성을 향상시킨다.
• 다중 척도 고해상도 입력은 특징 표현과 인식 정확도를 크게 향상시킨다.
• 새로운 데이터 증강 전략은 추론 비용을 증가시키지 않으면서도 모델의 일반화 능력을 향상시킨다.