[논문 리뷰] The streaming rollout of deep networks - towards fully model-parallel execution

Volker Fischer, Jan M. Köhler외 1명|arXiv (Cornell University)|2018. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 8

한 줄 요약

이 논문은 딥 네트워크의 롤아웃에 대한 이론적 프레임워크를 제안하며, 시간 단계 간 계산적 이방성(computational disentanglement)을 극대화함으로써 완전한 모델 병렬 추론을 가능하게 하는 '스트리밍 롤아웃(스트리밍 롤아웃)'을 제안한다. 이는 수학적으로 스트리밍 롤아웃이 가장 짧은 응답 시간과 가장 높은 입력 샘플링 주파수를 달성함을 증명하며, 실험 결과로는 전통적인 순차적 롤아웃 대비 조기 및 만기 성능 향상을 입증한다. 또한 구현을 위한 오픈소스 도구상자를 제공한다.

ABSTRACT

Deep neural networks, and in particular recurrent networks, are promising candidates to control autonomous agents that interact in real-time with the physical world. However, this requires a seamless integration of temporal features into the network's architecture. For the training of and inference with recurrent neural networks, they are usually rolled out over time, and different rollouts exist. Conventionally during inference, the layers of a network are computed in a sequential manner resulting in sparse temporal integration of information and long response times. In this study, we present a theoretical framework to describe rollouts, the level of model-parallelization they induce, and demonstrate differences in solving specific tasks. We prove that certain rollouts, also for networks with only skip and no recurrent connections, enable earlier and more frequent responses, and show empirically that these early responses have better performance. The streaming rollout maximizes these properties and enables a fully parallel execution of the network reducing runtime on massively parallel devices. Finally, we provide an open-source toolbox to design, train, evaluate, and interact with streaming rollouts.

연구 동기 및 목표

• 순환 및 피드포워드 네트워크의 실시간 추론에서 발생하는 지연 시간과 낮은 응답 주파수 문제를 해결하기 위해.
• 딥 네트워크에서 롤아웃의 개념을 체계화하고, 모델 병렬성과 시간적 행동에 미치는 영향을 분석하기 위해.
• 스트리밍 롤아웃이 완전한 병렬 실행을 가능하게 하고 응답 시간을 최소화함을 입증하기 위해.
• 스트리밍 롤아웃을 설계하고 평가하기 위한 일반화 가능한 이론적 및 실용적 프레임워크를 제공하기 위해.
• 스트리밍 롤아웃 네트워크를 구축하고 훈련시키며 상호작용할 수 있도록 오픈소스 도구상자를 제공하기 위해.

제안 방법

• 네트워크 롤아웃의 다양한 유형을 모델링하고 분류하기 위해 그래프 이론적 프레임워크를 제안하며, 내 프레임 및 외 프레임(브리징) 연결 간의 차이를 명확히 한다.
• 특정한 롤아웃 유형으로서 '스트리밍 롤아웃'을 정의하며, 주어진 시간 단계에서 모든 노드가 계산적으로 상호 의존성이 없음을 보장함으로써 완전한 모델 병렬성을 달성한다.
• 스트리밍 롤아웃이 응답 시간을 최소화하고 입력 샘플링 주파수를 극대화함을 수학적 증명을 통해 보여준다.
• 오픈소스 도구상자에서 모듈러하고 프로세스 기반의 실행 엔진을 활용하여 네트워크 연산을 CPU와 GPU 간에 분산한다.
• 코어 프로세스를 통해 동기화되는 번갈아가며 읽기/쓰기 단계를 구현함으로써 온라인 상호작용과 실시간 추론을 가능하게 한다.
• 딥 러닝 백엔드(Theano 및 TensorFlow)를 활용하여 스트리밍 롤아웃 아키텍처의 훈련 및 추론을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 롤아웃 전략은 딥 네트워크의 모델 병렬성 수준과 시간적 행동에 어떤 영향을 미치는가?
• RQ2 스트리밍 롤아웃은 기존의 순차적 롤아웃 대비 완전한 병렬 실행을 달성하고 추론 지연 시간을 줄일 수 있는가?
• RQ3 순환 및 스킵 연결 네트워크에서 롤아웃 구조와 응답 시간 또는 샘플링 주파수 사이의 이론적 관계는 무엇인가?
• RQ4 다양한 롤아웃 유형에서 조기 및 만기 추론 성능은 어떻게 다름을 보이는가?
• RQ5 스트리밍 롤아웃은 실시간 고주파 결정 과제에서 표준 롤아웃 대비 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• 수학적 증명에 따르면 스트리밍 롤아웃은 완전한 모델 병렬성 덕분에 가장 짧은 응답 시간과 가장 높은 입력 샘플링 주파수를 달성한다.
• 실험 결과로 스트리밍 롤아웃은 순차적 롤아웃 대비 조기 추론 단계뿐 아니라 최종 예측 성능에서도 뛰어난 성능을 보인다.
• 네트워크 복잡도가 증가할수록 가능한 롤아웃 수는 지수적으로 증가하며, 특히 순환 연결 또는 사이클을 포함한 네트워크에서 두드러진다.
• 오픈소스 도구상자는 다중 GPU 환경에서 스트리밍 롤아웃 네트워크의 효율적 설계, 훈련 및 실시간 상호작용을 가능하게 한다.
• 스킵 연결만 존재하는 네트워크도 스트리밍 롤아웃의 이점을 얻을 수 있으며, 이는 순환성이 성능 향상에 필수적이지 않음을 시사한다.
• CIFAR-10, MNIST 및 GTSRB 데이터셋에 대한 실험 결과로 스트리밍 롤아웃이 조기 및 만기 성능 지표 모두에서 순차적 롤아웃을 일관되게 능가함을 확인했다.