[논문 리뷰] ShapeFlow: Dynamic Shape Interpreter for TensorFlow

Sahil Verma, Zhendong Su|arXiv (Cornell University)|2020. 11. 26.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 7

한 줄 요약

ShapeFlow는 코드 주석 없이 텐서 모양 호환성 오류를 분석할 수 있는 텐서플로우를 위한 동적 추상 해석기이다. 52개의 딥러닝 벤치마크에서 평균 499배의 속도 향상과 100% 정확도(오직 하나의 거짓 음성)를 달성하여 머신러닝 개발자들이 annotation 없이 실용적으로 디버깅할 수 있는 솔루션을 제공한다.

ABSTRACT

We present ShapeFlow, a dynamic abstract interpreter for TensorFlow which quickly catches tensor shape incompatibility errors, one of the most common bugs in deep learning code. ShapeFlow shares the same APIs as TensorFlow but only captures and emits tensor shapes, its abstract domain. ShapeFlow constructs a custom shape computational graph, similar to the computational graph used by TensorFlow. ShapeFlow requires no code annotation or code modification by the programmer, and therefore is convenient to use. We evaluate ShapeFlow on 52 programs collected by prior empirical studies to show how fast and accurately it can catch shape incompatibility errors compared to TensorFlow. We use two baselines: a worst-case training dataset size and a more realistic dataset size. ShapeFlow detects shape incompatibility errors highly accurately -- with no false positives and a single false negative -- and highly efficiently -- with an average speed-up of 499X and 24X for the first and second baseline, respectively. We believe ShapeFlow is a practical tool that benefits machine learning developers. We will open-source ShapeFlow on GitHub to make it publicly available to both the developer and research communities.

연구 동기 및 목표

• 딥러닝 코드에서 흔히 발생하고 자원 낭비를 유발하는 모양 호환성 오류의 높은 빈도와 높은 검출 비용을 해결한다.
• 기존의 Ariadne와 Pythia와 같은 정적 분석 도구들이 수동 코드 주석이 필요하기 때문에 광범위하게 사용하기에 실용적이지 않다는 한계를 극복한다.
• 코드 수정 없이 프로그래머 주석 없이 실행 중에 텐서 모양을 분석할 수 있는 동적이고 가벼우며 정확한 기법을 개발한다.
• 디버깅 시간과 자원 낭비를 줄이기 위해 딥러닝 파이프라인의 초기 단계에서 모양 관련 버그를 신속하고 정확하게 탐지할 수 있도록 한다.
• TensorFlow와 원활하게 통합되며 개발자 부담 없이 실제 딥러닝 워크플로우를 지원하는 실용적인 오픈소스 도구를 제공한다.

제안 방법

• ShapeFlow는 실행 중에만 텐서 모양을 추적하고 실제 텐서 값은 기각하는 텐서플로우 API의 모양 캡처 버전을 구현한다.
• 원래 텐서플로우의 계산 그래프와 유사한 맞춤형 모양 계산 그래프를 구성하여 동적 모양 분석을 가능하게 한다.
• 도구는 동적이고 해석 기반 방식으로 작동하며, 데이터에서 입력 텐서 모양을 추론하고 연산을 통해 모양 제약 조건을 전파한다.
• ShapeFlow는 실행 중에 연산이 모양 사전조건을 위반하는 입력을 받는지 확인함으로써 모양 호환성 오류를 탐지한다.
• Python과 텐서플로우의 런타임 환경을 활용하여 코드 수정 없이 프로그램을 실행함으로써 호환성과 사용 용이성을 확보한다.
• 모든 모양 제약 조건이 충족되면 '오류 미검출' 메시지를 반환하고, 불일치가 발견되면 모양 오류 메시지와 함께 크래시한다.

실험 결과

연구 질문

• RQ1 기존의 정적 분석 도구보다 동적 모양 분석 기법이 딥러닝 코드의 텐서 모양 호환성 오류를 더 효율적이고 정확하게 탐지할 수 있는가?
• RQ2 코드 주석이나 수정 없이도 모양 분석 도구가 빠르고 정확할 수 있는 정도는 어느 정도인가?
• RQ3 속도와 오류 탐지 정확도 측면에서 동적 모양 인터프리터의 성능은 전체 텐서플로우 실행과 어떻게 비교되는가?
• RQ4 실제 딥러닝 프로그램에 알려진 모양 버그가 있는 경우, 이러한 도구의 거짓 긍정 및 거짓 음성 비율은 어떠한가?
• RQ5 이러한 도구가 추가적인 엔지니어링 또는 유지보수 부담 없이 개발자들이 실제로 채택할 수 있는가?

주요 결과

• ShapeFlow는 52개의 버그가 있는 프로그램 중 51개에서 100% 정확도로 모양 호환성 오류를 탐지했으며, 오직 하나의 거짓 음성만 보고했다.
• 모든 수정된 프로그램 버전에서 거짓 긍정이 전혀 발생하지 않아 오류 탐지의 높은 정밀도를 입증했다.
• 가장 악성인 훈련 데이터 세트 크기를 사용할 경우, 전체 텐서플로우 실행 대비 평균 499배의 속도 향상을 달성했다.
• 더 현실적인 데이터 세트 크기 조건에서도 전체 실행 대비 여전히 평균 24배의 빠른 속도 향상을 유지했다.
• 도구는 코드 주석이나 수정이 전혀 필요 없어 실용적이고 개발자 우호적인 실세계 적용이 가능했다.
• 구현은 수천 개의 텐서플로우 API 중 118개만 수정하여 향후 지원을 위한 유지보수성과 확장성을 확보했다.