[논문 리뷰] Dissecting the Graphcore IPU Architecture via Microbenchmarking

Zhe Jia, Blake Tillman외 2명|arXiv (Cornell University)|2019. 12. 07.

Advanced Memory and Neural Computing참고 문헌 15인용 수 80

한 줄 요약

이 논문은 microbenchmarking 실험을 통해 Graphcore IPU 아키텍처를 분석하여 설계 특성을 이해한다. 이는 Citadel 연구원들이 작성한 2019년 기술 보고서이다.

ABSTRACT

This report focuses on the architecture and performance of the Intelligence Processing Unit (IPU), a novel, massively parallel platform recently introduced by Graphcore and aimed at Artificial Intelligence/Machine Learning (AI/ML) workloads. We dissect the IPU's performance behavior using microbenchmarks that we crafted for the purpose. We study the IPU's memory organization and performance. We study the latency and bandwidth that the on-chip and off-chip interconnects offer, both in point-to-point transfers and in a spectrum of collective operations, under diverse loads. We evaluate the IPU's compute power over matrix multiplication, convolution, and AI/ML primitives. We discuss actual performance in comparison with its theoretical limits. Our findings reveal how the IPU's architectural design affects its performance. Moreover, they offer simple mental models to predict an application's performance on the IPU, on the basis of the computation and communication steps it involves. This report is the natural extension to a novel architecture of a continuing effort of ours that focuses on the microbenchmark-based discovery of massively parallel architectures.

연구 동기 및 목표

• Graphcore IPU 아키텍처 연구의 필요성을 제고하고 정당화한다
• 타깃 마이크로벤치마크를 통해 IPU의 아키텍처 특징을 특성화한다
• IPU 동작의 이해를 촉진하기 위해 재현 가능한 실험 조건을 제공한다
• IPU 지향 성능 분석에서 연구자들을 이끄는 관찰을 제시한다

제안 방법

• IPU 마이크로아키텍처 구성요소를 탐색하기 위해 마이크로벤치마킹 기법을 적용한다
• 계산, 메모리, interconnect 동작을 분리하기 위한 마이크로벤치마크 모음을 설계하고 실행한다
• 결과를 분석하여 IPU의 아키텍처 특성을 추론한다
• 재현성을 가능하게 하는 실험 설정과 조건을 논의한다
• 테스트를 위해 Graphcore가 제공한 early-access IPU 시스템을 참조한다

실험 결과

연구 질문

• RQ1 마이크로벤치마킹이 밝혀낸 Graphcore IPU의 주요 마이크로아키텍처 특징은 무엇인가?
• RQ2 타깃 워크로드에서 IPU 구성요소들(compute units, memory, interconnect)은 어떻게 동작하는가?
• RQ3 마이크로벤치마킹에 노출될 때 IPU의 아키텍처 설계에서 어떤 성능 시사점이 나타나는가?
• RQ4 마이크로벤치마크 결과가 IPU 하드웨어의 실제 워크로드에 얼마나 일반화될 수 있는가?

주요 결과

• 발견은 저자들이 연구한 IPU 아키텍처의 마이크로벤치마크 결과를 기반으로 한다
• 해당 문서는 early-access 테스트 시스템을 통한 IPU의 경험적 조사를 나타낸다
• 결과는 저자들이 설명한 실험 조건이 주어지면 재현 가능하도록 목표로 한다
• 본 작업은 외부 요인의 잠재적 영향을 인정하고 객관적 분석을 강조한다
• 저자들이 한정 사항을 인정한 기술 보고서로 제시된다