[논문 리뷰] AutoGraph: Imperative-style Coding with Graph-based Performance

Moldovan, Dan, Decker, James M외 7명|arXiv (Cornell University)|2018. 10. 16.

DNA and Biological Computing참고 문헌 14인용 수 10

한 줄 요약

AutoGraph는 소스 코드 변환과 단계적 프ogramming을 사용하여 관용적인 Python 코드를 최적화되고 배포 가능한 IR(예: Tensorflow Graph 또는 Lantern)로 변환함으로써 그래프 기반 성능를 갖춘 명령형 스타일의 Python 프로그래밍을 가능하게 한다. 이는 런타임 오버헤드 없이 네이티브 Tensorflow 성능을 달성하면서도 복잡한 제어 흐름을 지원하며, 백엔드에 종속되지 않는 컴파일을 가능하게 한다.

ABSTRACT

There is a perceived trade-off between machine learning code that is easy to write, and machine learning code that is scalable or fast to execute. In machine learning, imperative style libraries like Autograd and PyTorch are easy to write, but suffer from high interpretive overhead and are not easily deployable in production or mobile settings. Graph-based libraries like TensorFlow and Theano benefit from whole-program optimization and can be deployed broadly, but make expressing complex models more cumbersome. We describe how the use of staged programming in Python, via source code transformation, offers a midpoint between these two library design patterns, capturing the benefits of both. A key insight is to delay all type-dependent decisions until runtime, via dynamic dispatch. We instantiate these principles in AutoGraph, a software system that improves the programming experience of the TensorFlow library, and demonstrate usability improvements with no loss in performance compared to native TensorFlow graphs. We also show that our system is backend agnostic, and demonstrate targeting an alternate IR with characteristics not found in TensorFlow graphs.

연구 동기 및 목표

• 명령형 ML 프레임워크(코드 작성에 용이함)와 그래프 기반 시스템(고성능, 이식 가능함) 사이의 격차를 메우기 위해.
• 개발자가 제어 흐름(예: 반복문, 조건문 등)을 포함한 관용적인 Python 코드를 작성할 수 있도록 하되, 최적화된 정적 타입 지정된 IR로 컴파일되도록 하기 위해.
• 기존의 명령형 및 그래프 기반 ML 프레임워크에서 내재된 성능 및 이식 가능성의 상충 관계를 제거하기 위해.
• TensorFlow Graph와 더 표현력이 뛰어난 Lantern IR를 포함한 여러 중간 표현(IR)을 대상으로 하여 백엔드에 종속되지 않는 컴파일을 지원하기 위해.
• 개발자 부담을 최소화하고 자동 타입 디스패치를 통해 코드 변환 중 의미적 정확성을 유지하기 위해.

제안 방법

• Python 내에서 소스 코드 변환(SCT)을 사용하여 명령형 코드를 분석하고 하위 수준의 중간 표현(IR)으로 재작성한다.
• 런타임 타입 정보를 기반으로 동적 디스패치를 사용하는 단계적 프로그래밍을 적용하여 타입에 의존하는 결정을 실행 시점까지 연기한다.
• 제어 흐름 구조(예: 반복문, 조건문 등)를 탐지하기 위해 정적 분석을 적용하고, 이를 대상 IR 내의 등가 그래프 기반 연산으로 재작성한다.
• TensorFlow Graph와 더 표현력이 뛰어난 Lantern IR와 같은 다양한 IR을 지원함으로써 백엔드에 종속되지 않는 컴파일을 구현한다.
• 함수의 구조를 분석하고 런타임 또는 컴파일 타임에 변환을 수행하기 위해 Python의 인스펙션 및 반사 기능(예: inspect, imp)을 활용한다.
• 타입과 제어 흐름을 추론함으로써 필요한 애너테이션을 최소화하며, 대상 IR의 타입 체계가 요구할 경우에만 명시적인 힌트를 제공한다.

실험 결과

연구 질문

• RQ1 데이터 기반 제어 흐름이 포함된 명령형 스타일의 Python 코드가 성능 손실 없이 최적화된 정적 타입 지정된 IR로 자동으로 변환될 수 있는가?
• RQ2 소스 코드 변환과 단계적 프로그래밍을 통해 의미를 유지하면서도 ML 프레임워크에서 고성능 실행을 가능하게 할 수 있는 정도는 어느 정도인가?
• RQ3 하나의 시스템이 TensorFlow Graph보다 더 풍부한 기능(예: 재진입 가능한 함수 호출)을 가진 IR들까지도 동시에 타겟팅할 수 있는가?
• RQ4 타입 불일치와 동적 디스패치를 어떻게 처리하여 암묵적인 성능 저하를 방지할 수 있는가?
• RQ5 광범위한 수동 애너테이션 없이도 변환 파이프라인을 강력하고 정확하게 만들 수 있는가?

주요 결과

• AutoGraph는 성능 저하 없이 복잡한 제어 흐름을 포함한 관용적인 Python 코드를 최적화된 TensorFlow Graph IR로 성공적으로 변환한다.
• 시스템은 네이티브 TensorFlow 성능을 달성하여, AutoGraph를 통해 컴파일할 경우 명령형 프로그래밍 스타일이 런타임 오버헤드 없이도 성능에 영향을 주지 않음을 입증한다.
• AutoGraph는 TensorFlow를 초월하여 더 표현력이 뛰어난 Lantern IR를 타겟으로 하여, TensorFlow Graph에서 표현할 수 없는 고급 기능(예: 재진입 가능한 함수 호출)을 지원한다.
• 변환 과정은 대부분 자동이며, 대부분의 경우 애너테이션이 필요로 하지 않으며, 대상 IR의 타입 체계가 요구할 경우에만 최소한의 힌트가 필요하다.
• AutoGraph는 프로덕션 준비가 되어 있으며, TensorFlow 2.0 내 tf.function을 통해 통합되어 TensorFlow 코드베이스의 전체 테스트 셋을 활용한다.
• 비록 시스템의 강건성은 높지만, 사용자가 조건문에 Python 불린 값을 전달할 경우 시스템이 침묵적으로 실패할 수 있으며, 이는 개선된 디버깅 지원이 필요함을 시사한다.