[논문 리뷰] The nanoPU: Redesigning the CPU-Network Interface to Minimize RPC Tail Latency

Stephen Ibanez, Alex Mallery외 5명|arXiv (Cornell University)|2020. 10. 23.

Interconnection Networks and Systems참고 문헌 36인용 수 8

한 줄 요약

nanoPU는 메모리 계층 구조와 캐시를 건너뛰어 RPC 패킷을 직접 CPU 레지스터 파일로 라우팅함으로써 선간 지연(latency)을 최소 65ns로 줄이는 도메인 특화 CPU 코어이다. 이는 최신 기술 대비 13배 빠른 성능을 기록한다. 코어 선택, 스레드 스케줄링, 신뢰성 있는 전송 기능을 하드웨어로 이관함으로써, 1μs 이내의 경계가 있는 꼬리 지연(latency)을 달성하여 마이크로서비스 및 분산 응용 프로그램에서 고처리량, 마이크로초 이내의 RPC를 가능하게 한다.

ABSTRACT

The nanoPU is a new networking-optimized CPU designed to minimize tail latency for RPCs. By bypassing the cache and memory hierarchy, the nanoPU directly places arriving messages into the CPU register file. The wire-to-wire latency through the application is just 65ns, about 13x faster than the current state-of-the-art. The nanoPU moves key functions from software to hardware: reliable network transport, congestion control, core selection, and thread scheduling. It also supports a unique feature to bound the tail latency experienced by high-priority applications. Our prototype nanoPU is based on a modified RISC-V CPU; we evaluate its performance using cycle-accurate simulations of 324 cores on AWS FPGAs, including real applications (MICA and chain replication).

연구 동기 및 목표

• 클라우드 기반 마이크로서비스 아키텍처에서 현재 응답 시간의 높은 변동성으로 인해 성능이 제한되는 RPC 꼬리 지연(latency)을 줄이기.
• 기존 CPU-NIC 통신 경로에서 메모리 및 캐시 계층 구조의 근본적 병목 현상이 발생하는 문제를 해결하기.
• 메모리 액세스 지연과 소프트웨어 스택 오버헤드를 제거하기 위해 네트워크 패킷을 직접 레지스터 파일에서 처리하는 하드웨어 최적화된 CPU 코어 설계하기.
• 하드웨어 기반 스케줄링 및 혼잡 제어를 통해 고우선순위 RPC의 경계가 있는 꼬리 지연(latency)을 확보하여 결정론적 성능을 보장하기.
• CPU-네트워크 인터페이스를 재설계하여 패킷 데이터를 메모리 데이터와 동일시하는 방식으로, 패킷 우선 전략을 도입함으로써 효율적이고 오버헤드가 낮은 마이크로초 이내 RPC를 실현하기.

제안 방법

• 들어오는 RPC 패킷을 직접 CPU의 레지스터 파일로 라우팅함으로써 캐시 및 메인 메모리 계층을 건너뛰어 메모리 액세스 지연을 제거하기.
• JBSQ 유사 로드 밸런싱 정책을 사용해 하드웨어 기반 스레드 스케줄링 및 코어 선택을 구현하여 소프트웨어 유도 스케줄링 오버헤드를 방지하기.
• NIC에 P4 프로그래밍 가능한 파이프라인을 통합하여 헤더 및 전송 계층 처리를 병렬로 수행함으로써 파이프라인 패킷 처리를 가능하게 하기.
• 네트워크 인크래스트(incast)를 감소시키고 종단 간 지연(latency)을 향상시키기 위해 하드웨어로 NDP 혼잡 제어 프rotocol를 구현하기.
• 프로토타입으로 수정된 RISC-V 코어를 사용하고, AWS FPGA 기반 324코어 플랫폼에서 사이클 정확한 시뮬레이션을 수행해 성능 평가하기.
• 전통적인 소프트웨어 네트워킹 스택을 대체로, CPU에 완전한 메시지 전달을 보장하는 하드웨어 기반 신뢰성 있는 전송 계층을 구현하기.

실험 결과

연구 질문

• RQ1 메모리 및 캐시 계층 구조의 병목 현상을 제거함으로써, RPC에 대한 선간 지연(latency)을 최소화할 수 있는 CPU 코어를 재설계할 수 있는가?
• RQ2 코어 선택, 스레드 스케줄링, 전송 프로토콜의 하드웨어 이관이 고처리량 RPC 워크로드에서 꼬리 지연(latency)을 얼마나 줄일 수 있는가?
• RQ3 레지스터 파일 우선 아키텍처를 하드웨어 최적화하여, RPC에 대해 경계가 있는 꼬리 지연(latency)을 달성하는 것은 가능한가? (예: <1μs)
• RQ4 전통적인 메모리 기반 패킷 처리 방식과 비교해, 직접 패킷-레지스터 파일 라우팅 방식이 중앙값 및 꼬리 지연(latency) 측면에서 어떤가?
• RQ5 도메인 특화 nanoPU 코어가 실제 분산 응용 프로그램에서 프로그래밍 가능하고 확장 가능하면서도 마이크로초 이내의 RPC 성능을 달성할 수 있는가?

주요 결과

• nanoPU는 선간 지연(latency)을 65ns로 구현하여 최신 기술 대비 13배 향상된 바람직한 성능(850ns 중앙값)을 달성한다.
• 캐시 및 메모리 계층을 건너뛰었기 때문에 응용 프로그램의 메모리 액세스 간섭이 제거되어 꼬리 지연(latency)이 크게 감소한다.
• 하드웨어 기반 코어 선택 및 스레드 스케줄링은 스케줄링 오버헤드를 감소시켜 결정론적이고 저지연 RPC 처리를 가능하게 한다.
• nanoPU는 하드웨어로 NDP 혼잡 제어 프로토콜를 구현하여 인크래스트 성능을 향상시키고 네트워크 유도 지연(latency) 변동성을 줄였다.
• 시스템은 경계가 있는 꼬리 지연(latency)을 확보하여, NIC에 도착한 모든 적합한 RPC가 도착 후 1μs 이내에 완료됨을 보장한다.
• AWS FPGA 기반 324코어 플랫폼에서의 사이클 정확한 시뮬레이션 결과, nanoPU는 지속적인 10Tb/s 대역폭에서 초당 5억 건 이상의 RPC를 처리할 수 있음을 확인했다.