[논문 리뷰] DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators

Sheng-Chun Kao, Xiaoyu Huang외 1명|arXiv (Cornell University)|2022. 01. 26.

Advanced Data Storage Technologies인용 수 5

한 줄 요약

DNNFuser는 사전 훈련된 Transformer를 사용하여 DNN 가속기에서 계층 융합 최적화를 자동화하는 일회성, 추론 기반 매핑 기법을 제안한다. 이는 검색 기반 방법과 유사한 성능를 달성하면서도 66배에서 127배 빠르며, 예측되지 않은 하드웨어 조건으로도 일반화 가능하고, 최소한의 미세조정으로 새로운 DNN 워크로드에서 효율적인 전이 학습을 가능하게 한다.

ABSTRACT

Dataflow/mapping decides the compute and energy efficiency of DNN accelerators. Many mappers have been proposed to tackle the intra-layer map-space. However, mappers for inter-layer map-space (aka layer-fusion map-space), have been rarely discussed. In this work, we propose a mapper, DNNFuser, specifically focusing on this layer-fusion map-space. While existing SOTA DNN mapping explorations rely on search-based mappers, this is the first work, to the best of our knowledge, to propose a one-shot inference-based mapper. We leverage Transformer as our DNN architecture to learn layer-fusion optimization as a sequence modeling problem. Further, the trained DNNFuser can generalize its knowledge and infer new solutions for unseen conditions. Within one inference pass, DNNFuser can infer solutions with compatible performance to the ones found by a highly optimized search-based mapper while being 66x-127x faster.

연구 동기 및 목표

• DNN 가속기 최적화에서 거의 탐색되지 않은 분야인 계층 간 맵핑 공간(계층 융합)에 대한 자동화된 매핑 도구가 부족한 문제를 해결한다.
• 기존 검색 기반 매핑 도구(예: 유전 알고리즘, 강화 학습)의 높은 계산 비용 문제를 해결한다. 이러한 도구들은 최적의 매핑을 도출하기 위해 광범위한 탐색이 필요하다.
• 반복적 탐색 없이도 일회성 추론을 통해 최적의 계층 융합 전략을 신속하게 도출함으로써, 구현 효율성을 향상시킨다.
• 예측되지 않은 하드웨어 조건(예: 다양한 片상 버퍼 크기)으로도 일반화 가능하고, 다양한 DNN 워크로드 간 전이 학습을 가능하게 한다.
• Transformer를 사용하여 계층 융합을 시퀀스 모델링 문제로 모델링함으로써, DNN 매핑 도구 설계의 새로운 패러다임을 제시한다.

제안 방법

• 입력으로 DNN 모델의 계층 구성과 하드웨어 제약 조건을, 출력으로 융합된 계층 구성이 되는 시퀀스에서 시퀀스(sequ2seq) 문제로 계층 융합 매핑을 모델링한다.
• 입력 DNN 및 하드웨어 조건에서 최적의 계층 융합 패턴으로의 매핑을 학습하기 위해 사전 훈련된 Transformer 아키텍처를 사용한다.
• 다양한 DNN 워크로드(예: VGG16, ResNet18)에서 훈련하여 효율적인 계층 융합에 대한 일반화된 지식을 학습한다.
• 훈련 후 추론 기반 배포를 가능하게 한다: 한 번의 순방향 전파로 솔루션을 생성함으로써 탐색이 필요 없어진다.
• 새로운 DNN 워크로드(예: ResNet50, MobileNet-V2)에 대해 사전 훈련된 DNNFuser를 미세조정함으로써 전이 학습을 적용하며, 훈련 에포크 수의 10%만으로도 가능하다.
• 조직된 버퍼 크기를 조건으로 삼아 런타임 하드웨어 제약 조건에 동적으로 적응할 수 있도록 모델을 조정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 Transformer 모델은 다양한 DNN 워크로드와 하드웨어 조건에서 계층 융합 전략을 효과적으로 학습하고 일반화할 수 있는가?
• RQ2 일회성 추론 기반 매핑 도구(DNNFuser)의 성능는 최신 검색 기반 매핑 도구와 비교해 솔루션 품질과 속도 측면에서 어떻게 되는가?
• RQ3 DNNFuser는 다양한 片상 버퍼 크기와 같은 예측되지 않은 하드웨어 구성으로도 어느 정도 일반화 가능한가?
• RQ4 전이 학습을 통해 DNNFuser를 새로운 DNN 모델에 적용할 때 훈련 시간을 크게 줄이고 성능을 향상시킬 수 있는가?
• RQ5 더 깊은 네트워크(예: ResNet18)와 같은 더 긴 시퀀스에서는 Transformer 기반 접근 방식이 RNN 기반 모델(예: Seq2Seq)보다 우수한가?

주요 결과

• DNNFuser는 최신 검색 기반 매핑 도구보다 추론 시간에서 66배에서 127배 빠르며, 유사한 성능를 유지한다.
• ResNet18에서 DNNFuser는 RNN 기반 Seq2Seq 베이스라인을 능가한다. 이는 Transformer가 더 긴 시퀀스를 더 잘 처리함으로써 시퀀스 모델링에서의 우수성을 입증한다.
• DNNFuser는 예측되지 않은 하드웨어 조건으로도 일반화 가능하다: 재훈련 없이도 새로운 片상 버퍼 크기에 대해 유효하고 효율적인 매핑을 생성한다.
• 전이 학습을 통해 새로운 DNN 워크로드(예: ResNet50, MobileNet-V2)에 대해 훈련을 처음부터 시작할 때 필요한 에포크 수의 10%만으로도 미세조정이 가능하며, 직접 훈련한 경우와 동등하거나 더 뛰어난 성능을 달성한다.
• 사전 훈련된 일반 매핑 도구는 VGG16에서는 G-Sampler와 유사한 성능를 보이며, ResNet18에서는 이를 능가함으로써 다양한 아키텍처에서의 효과성을 입증한다.
• 모델은 활성화 크기가 작아지는 깊은 계층을 더 적극적으로 융합하도록 학습하며, 활성화 크기나 채널 깊이 변화로 인해 메모리 압박이 증가할 경우 외부 메모리로의 동기화를 수행한다.