[논문 리뷰] Combining Emulation and Simulation to Evaluate a Near Memory Key/Value Lookup Accelerator

Joshua Landgraf, Scott Lloyd외 1명|arXiv (Cornell University)|2021. 05. 13.

Radiation Effects in Electronics참고 문헌 11인용 수 8

한 줄 요약

이 논문은 하이브리드 메모리 큐브(Hybrid Memory Cube, HMC) 아키텍처를 위한 네어-메모리 키/값 룩업 가속기의 최적화를 위해 하드웨어 에뮬레이션과 소프트웨어 시뮬레이션을 융합한 하이브리드 평가 프레임워크를 제안한다. HMC-Sim 메모리 모델과 SST 기반의 가속기 시뮬레이션을 통합함으로써, 저자들은 128B 키 패킷화, 더 넓은 인터커넥트, 증가된 요청 동시성과 같은 최적화 기법을 규명하였으며, 이는 단일 가속기 성능을 93–136% 향상시키고, 다중 가속기 환경에서 2.7–5.7배의 확장성을 달성하여 원본 설계 대비 최대 13배의 성능 향상을 이룬다.

ABSTRACT

Processing large numbers of key/value lookups is an integral part of modern server databases and other "Big Data" applications. Prior work has shown that hash table based key/value lookups can benefit significantly from using a dedicated hardware lookup accelerator placed near memory. However, previous evaluations of this design on the Logic in Memory Emulator (LiME) were limited by the capabilities of the hardware on which it was emulated, which only supports a single CPU core and a single near-memory lookup engine. We extend the emulation results by incorporating simulation to evaluate this design in additional scenarios. By incorporating an HMC simulation model, we design optimizations that better mitigate the effects of the HMC closed page policy and that better utilize the HMC's parallelism, improving predicted performance by an order of magnitude. Additionally, we use simulation to evaluate the scaling performance of multiple near-memory lookup accelerators. Our work employs an open source emulator LiME, open source simulatation infrastructure SST, and the open source HMC-Sim simulator.

연구 동기 및 목표

• 하드웨어 에뮬레이션만으로는 제한되는 성능 평가의 한계를 넘어서, 네어-메모리 키/값 룩업 가속기의 성능을 평가하기 위해.
• 폐쇄된 페이지 정책과 제한된 동시성과 같은 현실적인 HMC 메모리 제약 조건 하에서 성능을 향상시키는 아키텍처 최적화를 규명하기 위해.
• 모의된 HMC 환경에서 다중 가속기 배포 시 성능 스케일링 거동을 평가하기 위해.
• LiME, SST, HMC-Sim와 같은 오픈소스 도구를 활용하여 메모리 최적화 가속기의 정확하고 재현 가능하며 확장 가능한 평가를 수행하기 위해.

제안 방법

• 연구는 나노초 정밀도 시계열을 갖춘 단일 네어-메모리 룩업 가속기를 모델링하기 위해 LiME 하드웨어 에뮬레이터를 사용한다.
• SST 프레임워크를 활용한 소프트웨어 시뮬레이션을 구축하여 가속기와 HMC-Sim 메모리 모델을 통합함으로써, 메모리 뱅크 충돌과 메모리 지연과 같은 HMC 고유의 행동을 정확하게 모델링할 수 있도록 한다.
• 키/값 스토어는 오픈 어드레싱 해시 테이블로 구현되며, 룩업 엔진은 해시된 인덱스에서 시작하는 프로브 시퀀스를 처리한다.
• 최적화 기법으로는 128B 패킷 단위로 키를 배치, 인터커넥트 버스 폭을 두 배로 증가, 동시에 처리 가능한 메모리 요청 수의 최대치를 증가시키는 것이 포함된다.
• 성능 평가는 균일한 분포와 지프 분포(query distribution)를 모두 대상으로 하며, 다양한 로드 팩터와 메모리 모델 간의 결과를 비교한다.
• 확장성 테스트는 1~8개의 가속기로 수행되며, 메모리 대역폭 대비 동시성의 한계를 분리하기 위해 실제 HMC-Sim와 이상화된 고대역폭 에뮬레이터 메모리 모델을 모두 사용한다.

실험 결과

연구 질문

• RQ1 단순화된 메모리 모델 대비 현실적인 HMC 메모리 제약 조건 하에서 네어-메모리 키/값 룩업 가속기의 성능은 어떻게 저하되는가?
• RQ2 메모리 뱅크 충돌과 제한된 메모리 동시성과 같은 HMC 고유의 병목 현상을 완화하기 위한 아키텍처 최적화는 무엇인가?
• RQ3 HMC 환경에서 다수의 가속기 인스턴스를 병렬로 배포했을 때 성능 스케일링 거동은 어떠한가?
• RQ4 가속기 성능에서 메모리 대역폭이 아닌 메모리 동시성의 영향이 얼마나 크며, 어떤 것이 주요 병목 요인인가?

주요 결과

• 128B 키 패킷화와 더 넓은 인터커넥트의 조합은 뱅크 충돌 감소와 메모리 스루풋 증가로 인해 단일 가속기 성능을 최대 136% 향상시켰다.
• 동시 메모리 요청 수를 늘림으로써 성능이 최대 33% 향상되었으며, 이는 요청 수준의 동시성이 중요한 병목 요소이지만, 결정적인 요소는 아님을 시사한다.
• 두 개의 가속기를 사용할 경우 스루풋이 63–100% 향상되었고, 네 대일 경우 추가로 54–92%의 성능 향상이 있었으며, 여덟 대일 경우 총 2.7–5.7배의 향상이 달성되었다.
• 성능 스케일링은 높은 로드 팩터에서 가장 효과적이었으며, 이는 CPU 오버헤드가 상대적으로 낮고 메모리 동시성이 주요 성능 요소가 되기 때문이다.
• 128 GB/s 대역폭을 갖는 이상화된 메모리 모델에서 단일 가속기 성능은 HMC-Sim 결과와 5% 이내로 일치하여 시뮬레이션 정확도를 확인하였다.
• 결과는 현실적인 HMC 조건 하에서 다중 가속기 배포 시 메모리 동시성이 대역폭보다 주요 병목 요소임을 시사한다.