[논문 리뷰] TF.Learn: TensorFlow's High-level Module for Distributed Machine Learning

Yuan Tang|arXiv (Cornell University)|2016. 12. 13.

Machine Learning and Data Classification참고 문헌 4인용 수 51

한 줄 요약

TF.Learn는 분산 기계 학습 모델의 개발, 훈련, 배포를 단순화하기 위해 Scikit-learn과 호환되는 인터페이스를 제공하는 텐서플로우를 위한 고수준 파이썬 API입니다. 이는 연구자와 실무자들이 텐서플로우의 저수준 API를 최소한의 부가 코드로 사용하여 지도 및 비지도 학습 모델을 구축하고 평가하며 확장할 수 있도록 하며, 분산 훈련, 하이퍼파rameter 튜닝, 프로덕션 배포를 기본적으로 지원합니다.

ABSTRACT

TF.Learn is a high-level Python module for distributed machine learning inside TensorFlow. It provides an easy-to-use Scikit-learn style interface to simplify the process of creating, configuring, training, evaluating, and experimenting a machine learning model. TF.Learn integrates a wide range of state-of-art machine learning algorithms built on top of TensorFlow's low level APIs for small to large-scale supervised and unsupervised problems. This module focuses on bringing machine learning to non-specialists using a general-purpose high-level language as well as researchers who want to implement, benchmark, and compare their new methods in a structured environment. Emphasis is put on ease of use, performance, documentation, and API consistency.

연구 동기 및 목표

• 비전문가 및 연구자들이 익숙한 스카이킷-러닝 유사 인터페이스를 통해 기계 학습 모델의 구축, 훈련, 배포 과정을 단순화하기 위해.
• 특히 분산 훈련과 모델 관리에 있어 텐서플로우의 저수준 API의 복잡성을 추상화하기 위해.
• 멀티머신 및 멀티디바이스 훈련을 포함한 텐서플로우의 분산 컴퓨팅 기능과 원활한 통합을 가능하게 하기 위해.
• 구조적이고 확장 가능한 환경에서 새로운 기계 학습 알고리즘의 빠른 프로토타이핑, 벤치마킹, 비교를 가능하게 하기 위해.
• 표준화된 내보내기 전략을 통해 텐서플로우 서빙을 통한 모델 내보내기 및 배포를 촉진하기 위해.

제안 방법

• 스카이킷-러닝과 유사한 일관된 fit/predict API를 사용하여 모델 훈련, 평가, 예측를 봉인하는 Estimator 클래스를 노출합니다.
• 사용자가 텐서플로우의 저수준 연산을 사용하여 복잡한 아키텍처를 구축할 수 있도록 model_fn 함수를 사용해 커스텀 계산 그래프를 정의합니다.
• GPU 메모리 사용량, 클러스터 구성, 분산 훈련 아키텍처와 같은 런타임 설정을 관리하기 위해 RunConfig를 활용합니다.
• FeedingQueueRunner를 통한 비동기 데이터 피딩을 통해 효율적인 데이터 입력과 이면 데이터 피드를 가능하게 하는 DataFrame 모듈을 도입합니다.
• 훈련 모니터링, 조기 정지, 체크포인트 자동 저장을 구현하기 위해 SessionRunHook 메커니즘을 활용합니다.
• 로컬 또는 분산 환경에서 설정 가능한 빈도, 지연, 연속 평가를 지원하는 훈련 및 평가 루프를 조율하기 위한 Experiment 클래스를 제공합니다.

실험 결과

연구 질문

• RQ1 스카이킷-러닝 유사 인터페이스를 텐서플로우 위에 고수준으로 구축할 수 있는가? 이는 비전문가의 진입 장벽을 낮출 수 있는가?
• RQ2 성능와 유연성을 유지하면서 분산 훈련과 모델 배포를 어떻게 추상화할 수 있는가?
• RQ3 TF.Learn는 연구 및 프로덕션 워크플로우에서 재현성과 생산성을 어느 정도 향상시킬 수 있는가?
• RQ4 TF.Learn는 커스텀 모델 개발 및 고급 훈련 기법을 위해 텐서플로우의 저수준 API와 얼마나 효과적으로 통합될 수 있는가?
• RQ5 Keras나 Lasagne 같은 다른 고수준 딥 러닝 프레임워크와 비교했을 때 TF.Learn는 성능 및 사용성 측면에서 어떤 이점을 제공하는가?

주요 결과

• TF.Learn는 사용자가 단순한 fit/predict 인터페이스를 통해 모델을 훈련하고 평가할 수 있도록 하여, 텐서플로우에서 모델을 구축하는 복잡성을 크게 감소시킵니다.
• Estimator API는 딥 네ural 네트워크, 와이드 및 딥 모델, 랜덤 포레스트 등 최신 기술 알고리즘의 광범위한 범위를 텐서플로우 내부에서 네이티브로 지원합니다.
• 분산 훈련은 기본적으로 완전히 지원되며, 여러 대의 머신이나 디바이스로 확장하기 위해 추가 코드가 필요하지 않습니다.
• 텐서플로우 서빙과의 통합을 통해 모델을 최소한의 구성으로 내보내고 프로덕션 환경에 배포할 수 있습니다.
• 사용자는 TF.Learn 내부에서 그대로 스카이킷-러닝의 GridSearch 및 Pipeline 도구를 활용할 수 있어 실험 및 하이퍼파rameter 튜닝 워크플로우를 강화할 수 있습니다.
• TF.Learn는 커스텀 코드 없이도 조기 정지, 학습률 감소, 클래스 가중치, 다중 출력 학습과 같은 고급 훈련 기능을 내장 지원합니다.