[논문 리뷰] Applications of Deep Neural Networks with Keras

Jeff Heaton|arXiv (Cornell University)|2020. 09. 11.

Computational Physics and Python Applications인용 수 8

한 줄 요약

이 책은 Keras와 TensorFlow를 사용하여 회귀, 분류, 컴퓨터 비전, NLP 및 강화 학습 분야의 실용적 응용에 중점을 두고 딥 네트워크에 대한 종합적이고 실습 중심의 소개를 제공한다. 전이 학습, 데이터 증강 및 현대적인 아키텍처인 트랜스포머를 강조하며, 연구자와 실무자들을 위한 코드 예제와 실제 배포 고려 사항을 포함한다.

ABSTRACT

Deep learning is a group of exciting new technologies for neural networks. Through a combination of advanced training techniques and neural network architectural components, it is now possible to create neural networks that can handle tabular data, images, text, and audio as both input and output. Deep learning allows a neural network to learn hierarchies of information in a way that is like the function of the human brain. This course will introduce the student to classic neural network structures, Convolution Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adversarial Networks (GAN), and reinforcement learning. Application of these architectures to computer vision, time series, security, natural language processing (NLP), and data generation will be covered. High-Performance Computing (HPC) aspects will demonstrate how deep learning can be leveraged both on graphical processing units (GPUs), as well as grids. Focus is primarily upon the application of deep learning to problems, with some introduction to mathematical foundations. Readers will use the Python programming language to implement deep learning using Google TensorFlow and Keras. It is not necessary to know Python prior to this book; however, familiarity with at least one programming language is assumed.

연구 동기 및 목표

• 연구자와 실무자를 대상으로 Keras와 TensorFlow를 사용한 실용적이고 코드 중심의 딥 러닝 소개를 제공하기 위해.
• 딥 네트워크의 실생활 응용 사례를 회귀, 분류, 컴퓨터 비전, NLP 등 다양한 분야에 걸쳐 설명하기 위해.
• 데이터 전처리, 모델 훈련, 배포 최적화 방법론을 안내하며, 전이 학습과 데이터 증강을 포함하기 위해.
• Keras/TensorFlow와 PyTorch를 비교하고 교육 및 적용 분야에서의 프레임워크 선택 근거를 제시하기 위해.
• 트랜스포머, 강화 학습, 프로덕션 배포를 위한 현대 도구를 사용한 고급 주제로의 준비를 돕기 위해.

제안 방법

• 딥 네트워크를 구축하고 훈련하기 위해 주로 Keras와 TensorFlow를 사용한다.
• 이진 인코딩, 타겟 인코딩, 정규화와 같은 데이터 전처리 기법을 순서형 및 연속형 특성에 적용한다.
• 제한된 데이터로 성능을 향상시키기 위해 전이 학습과 데이터 증강(예: 이미지 뒤집기)을 적용한다.
• Hugging Face와 NGC에서 제공하는 사전 학습 모델을 활용하여 NLP 및 비전 모델의 훈련과 미세 조정을 가속화한다.
• 번역 및 텍스트 분류와 같은 작업을 위해 트랜스포머(예: BERT, GPT)를 사용한 시퀀스 모델을 구현한다.
• TF-Agents를 통해 강화 학습을 소개하지만, 성능 저하와 빈번한 내부 버그로 인해 실용성에 한계가 있음을 언급한다.

실험 결과

연구 질문

• RQ1 Keras와 TensorFlow는 다양한 머신 러닝 작업을 위한 딥 네트워크를 효과적으로 구축하고 훈련하는 데 어떻게 활용될 수 있는가?
• RQ2 딥 러닝에서 표본, 이미지, 텍스트 데이터에 대해 가장 효과적인 데이터 전처리 및 특성 공학 기법은 무엇인가?
• RQ3 전이 학습은 딥 러닝 응용에서 모델 성능을 향상시키고 훈련 비용을 줄이는 데 어떻게 기여하는가?
• RQ4 실제 시스템에 딥 러닝 모델을 배포할 때 발생하는 실질적 과제와 상호 보완적 고려 사항은 무엇인가?
• RQ5 트랜스포머와 GAN과 같은 현대적 아키텍처는 NLP 및 컴퓨터 비전 작업에서 성능을 어떻게 향상시키는가?

주요 결과

• 전이 학습은 특히 Hugging Face나 NGC에서 제공하는 사전 학습 모델을 사용할 경우 훈련 시간과 계산 비용을 크게 줄인다.
• 이미지 뒤집기와 같은 데이터 증강 기법은 효과적인 훈련 데이터 크기를 네 배로 늘리고 모델의 일반화 성능을 향상시킬 수 있다.
• 트랜스포머는 장거리 의존성을 모델링함으로써 번역 및 텍스트 분류와 같은 NLP 작업에서 최첨단 성능을 달성한다.
• Keras/TensorFlow는 교육 및 프로토타이핑를 위한 안정적이고 접근성 있는 프레임워크를 제공하지만, 연구 분야에서는 PyTorch가 여전히 강력한 대안이다.
• TF-Agents를 사용한 강화 학습는 작동 가능하지만, 느린 업데이트와 빈번한 내부 버그로 인해 프로덕션 환경에서는 실용성이 제한된다.
• 딥 러닝 모델의 엔드 투 엔드 배포를 위해서는 파이썬 노트북을 넘어서 모바일 및 웹 애플리케이션을 위한 언어인 Swift, Kotlin, 또는 JavaScript로 전환해야 한다.