[논문 리뷰] Swift for TensorFlow: A portable, flexible platform for deep learning

Brennan Saeta, Denys Shabalin외 11명|arXiv (Cornell University)|2021. 03. 15.

Scientific Computing and Data Management인용 수 2

한 줄 요약

Swift for TensorFlow는 사전 컴파일과 언어 통합 자동 미분을 기반으로 한 이식성 있고 유연한 딥 러닝 플랫폼으로, 모바일 디바이스와 데이터 센터 클러스터 전반에 걸쳐 효율적인 배포를 가능하게 한다. 이 플랫폼은 30개 이상의 딥 러닝 모델을 지원하여 다양한 환경에서의 확장성과 실용성을 입증한다.

ABSTRACT

Swift for TensorFlow is a deep learning platform that scales from mobile devices to clusters of hardware accelerators in data centers. It combines a language-integrated automatic differentiation system and multiple Tensor implementations within a modern ahead-of-time compiled language oriented around mutable value semantics. The resulting platform has been validated through use in over 30 deep learning models and has been employed across data center and mobile applications.

연구 동기 및 목표

• 모바일 디바이스와 대규모 데이터 센터 클러스터 전반에서 효율적으로 작동하는 확장 가능한 딥 러닝 플랫폼을 구축하기 위해.
• 기존 딥 러닝 프레임워크의 한계를 극복하기 위해 자동 미분을 언어 수준에 직접 통합하기 위해.
• Swift의 타입 안정성과 가변 값 의미 체계를 통해 고성능이고 이식 가능한 머신 러닝을 실현하기 위해.
• 다양한 모델과 배포 시나리오를 지원하기 위해 민첩한 텐서 구현을 통해 유연성을 확보하기 위해.

제안 방법

• 다양한 하드웨어 플랫폼에서 성능을 최적화하기 위해 Swift의 사전 컴파일 기능을 활용한다.
• 언어 수준에 직접 자동 미분을 통합하여 원활한 기울기 계산을 가능하게 한다.
• 메모리와 성능 간의 트레이드오���을 고려한 유연성 확보를 위해 다수의 텐서 구현을 지원한다.
• 성능과 표현력을 향상시키기 위해 Swift의 내장된 가변 값 의미 체계를 활용한다.
• 스마트폰에서 데이터 센터 가속기까지 다양한 디바이스에서 텐서를 관리하기 위해 통합 추상화 계층을 사용한다.
• 단일의 정적 타입 언어 환경 내에서 종단 간 모델 개발과 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반 목적의 언어를 기반으로 한 딥 러닝 플랫폼이 전용 프레임워크 수준의 성능과 이식성을 달성할 수 있는가?
• RQ2 언어 통합 자동 미분이 이질적인 하드웨어 플랫폼 전반에서 얼마나 효과적으로 확장될 수 있는가?
• RQ3 정적 타입, 사전 컴파일된 언어가 딥 러닝의 동적이고 민감한 요구사항을 얼마나 잘 충족할 수 있는가?
• RQ4 통합 텐서 추상화가 모바일 및 데이터 센터 환경 간의 효율적 배포를 가능하게 할 수 있는가?

주요 결과

• Swift for TensorFlow는 30개 이상의 딥 러닝 모델을 성공적으로 지원하여 광범위한 적용 가능성을 입증한다.
• 플랫폼은 모바일 디바이스와 데이터 센터 클러스터 전반에서 효율적인 실행을 가능하게 하여 이식성의 우수성을 입증한다.
• 언어 통합 자동 미분은 높은 성능을 유지하면서도 모델 개발을 단순화한다.
• Swift의 사전 컴파일 기능을 활용하여 다양한 하드웨어 가속기에서 최적화된 성능을 달성한다.
• 다양한 텐서 구현 방식을 통해 런타임 시 메모리 및 성능 제약에 맞게 유연하게 적응할 수 있다.
• 실제 데이터 센터 및 모바일 애플리케이션에서 플랫폼의 실용적 타당성이 검증되었다.