[논문 리뷰] Project Beehive: A Hardware/Software Co-designed Stack for Runtime and Architectural Research

Christos Kotselidis, Andrey Rodchenko외 15명|arXiv (Cornell University)|2015. 09. 14.

Parallel Computing and Optimization Techniques참고 문헌 29인용 수 3

한 줄 요약

Project Beehive는 다양한 이종 시스템에서 런타임 및 아키텍처 연구를 위한 빠른 프로토타이핑과 실험을 가능하게 하는 통합형 하드웨are/소프트웨어 공동 설계 플랫폼을 제공한다. GPGPU, SIMD, FPGA를 포함한 공동 설계된 컴파일러, 런타임, 가속기들을 통합함으로써 복잡한 컴퓨터 비전 워크로드(KFusion)에서 최대 43배의 성능 향상을 달성하며, 응용 프로그램, 언어, 하드웨어 계층 간의 효과적인 공동 설계를 입증한다.

ABSTRACT

The end of Dennard scaling combined with stagnation in architectural and compiler optimizations makes it challenging to achieve significant performance deltas. Solutions based solely in hardware or software are no longer sufficient to maintain the pace of improvements seen during the past few decades. In hardware, the end of single-core scaling resulted in the proliferation of multi-core system architectures, however this has forced complex parallel programming techniques into the mainstream. To further exploit physical resources, systems are becoming increasingly heterogeneous with specialized computing elements and accelerators. Programming across a range of disparate architectures requires a new level of abstraction that programming languages will have to adapt to. In software, emerging complex applications, from domains such as Big Data and computer vision, run on multi-layered software stacks targeting hardware with a variety of constraints and resources. Hence, optimizing for the power-performance (and resiliency) space requires experimentation platforms that offer quick and easy prototyping of hardware/software co-designed techniques. To that end, we present Project Beehive: A Hardware/Software co-designed stack for runtime and architectural research. Project Beehive utilizes various state-of-the-art software and hardware components along with novel and extensible co-design techniques. The objective of Project Beehive is to provide a modern platform for experimentation on emerging applications, programming languages, compilers, runtimes, and low-power heterogeneous many-core architectures in a full-system co-designed manner.

연구 동기 및 목표

• 현대 컴퓨팅 스택의 복잡성 증가에 대응하기 위해 하드웨어와 소프트웨어의 발전이 분리되어 최적의 성능, 전력 소비, 내구성 확보를 위해 공동 설계가 필요하다.
• 다양한 코어 수, 이종 아키텍처에서 단일 하드웨어나 소프트웨어 중심 솔루션의 한계를 극복한다.
• ARM, x86, FPGA, GPU 등 다양한 하드웨어 플랫폼에서 프로그래밍 언어, 컴파일러, 런타임, 다양한 하드웨어 플랫폼 간의 전체 시스템 실험을 신속하게 가능하게 한다.
• 다양한 ISA(지정어셋)를 통해 동적 및 비동적 언어에 대한 런타임 및 컴파일러 지원을 통합하고 확장한다.
• 빅데이터 및 컴퓨터 비전과 같은 신규 워크로드에서 전력, 성능, 내구성 최적화를 위한 민첩하고 확장 가능한 플랫폼을 제공한다.

제안 방법

• 생산 및 연구용 가상 머신을 통해 다양한 ISA(ARMv7, Aarch64, x86)와 여러 프로그래밍 언어를 지원하는 통합된 런타임 계층을 통합한다.
• Tornado(GPGPU), Indigo(SIMD), MAST(FPGA)와 같은 혁신적인 공동 설계 모듈을 활용하여 생산성 손실 없이 이종 실행을 투명하게 지원한다.
• 고성능 시뮬레이터와 실제 하드웨어를 통합된 프레임워크에서 활용하여 아키텍처 연구 및 최적화를 지원한다.
• 하드웨어 인식 JVM 확장 기능을 적용하여 포인터의 사용되지 않는 비트를 메타데이터로 활용함으로써 객체 헤더 크기를 줄이고 캐시 효율성을 향상시킨다.
• 고수준 코드(예: Java 기반 KinectFusion)에서 마이크로아키텍처 최적화에 이르기까지 소프트웨어, 런타임, 하드웨어 계층 간의 통합적 접근을 통해 응용 프로그램 수준의 공동 설계를 가능하게 한다.
• 스택 전반에 걸쳐 동적 및 정적 분석을 지원하여 전체 시스템에서 반복적인 실험과 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 하드웨어/소프트웨어 공동 설계 플랫폼은 다양한 아키텍처와 프로그래밍 모델 간의 신속한 프로토타이핑과 실험을 어떻게 가능하게 하는가?
• RQ2 마이크로아키텍처 지원과 함께 JVM 객체 레이아웃을 공동 설계함으로써 성능, 에너지 소비, 메모리 효율성에서 어떤 개선이 이루어지는가?
• RQ3 동일한 소프트웨어 스택이 GPGPU, SIMD, FPGA 플랫폼에서 복잡한 실세계 응용 프로그램인 KinectFusion의 성능을 얼마나 빠르게 향상시킬 수 있는가?
• RQ4 공동 설계된 컴파일러 및 런타임 최적화는 응용 프로그램 수준의 성능과 캐시 활용도, DRAM 에너지 소비와 같은 시스템 수준 지표에 어떤 영향을 미치는가?
• RQ5 객체 헤더 압축과 같은 아키텍처 수준 최적화는 종단 간 응용 프로그램 성능과 가비지 컬렉션 오버헤드에 어떤 영향을 미치는가?

주요 결과

• Beehive 플랫폼은 GPGPU, FPGA, JVM 최적화된 객체 레이아웃을 공동 설계함으로써 KFusion 컴퓨터 비전 응용 프로그램에서 최대 43배의 성능 향상을 달성했다.
• 객체 헤더에서 클래스 정보 제거로 인해 객체 크기가 한 워드 감소하여 SLAMBench 단계 전반에서 평균 1.10배, 최대 1.32배의 성능 향상이 발생했다.
• 동일한 최적화로 동적 DRAM 에너지 소비가 최대 27% 감소했고, 총 DRAM 에너지 소비는 12% 감소했으며, 총 동적 에너지 소비는 5% 감소했다.
• 더 작은 객체 크기로 인한 더 나은 데이터 국소성 덕분에 L2 캐시에서 24%, L3 캐시에서 25%의 캐시 활용도 향상이 이루어졌다.
• 객체 헤더 압축으로 인한 힙 공간 절약으로 인해 가비지 컬렉션 호출 횟수가 10회에서 7회로 감소했다.
• 소프트웨어, 런타임, 하드웨어 계층 간의 다층적 공동 설계를 통해 KFusion 응용 프로그램의 실시간 3D 공간 재구성(30 fps 이상)을 성공적으로 구현했다.