[논문 리뷰] The ngdp framework for data acquisition systems

A. Yu. Isupov|arXiv (Cornell University)|2010. 04. 26.

Particle Detector Development and Performance참고 문헌 2인용 수 3

한 줄 요약

ngdp 프레임워크는 분산 고에너지 물리 실험을 위한 경량적이고 모듈형이며 고성능의 데이터 수집(DAQ) 시스템 프레임워크이다. 이 프레임워크는 유닉스 유사 환경에서 커널 스레드와 netgraph(4)를 활용하여 메모리 복사 최소화와 느린 중간 저장소 제거를 실현함으로써, ng_mm(4)를 통한 커널-사용자 메모리 매핑과 로드가 가능한 필터 모듈을 통한 효율적 패킷 필터링을 통해 1 GB/s 이상의 고처리량을 달성한다.

ABSTRACT

The ngdp framework is intended to provide a base for the data acquisition (DAQ) system software. The ngdp's design key features are: high modularity and scalability; usage of the kernel context (particularly kernel threads) of the operating systems (OS), which allows to avoid preemptive scheduling and unnecessary memory--to--memory copying between contexts; elimination of intermediate data storages on the media slower than the operating memory like hard disks, etc. The ngdp, having the above properties, is suitable to organize and manage data transportation and processing for needs of essentially distributed DAQ systems. The investigation has been performed at the Veksler and Baldin Laboratory of High Energy Physics, JINR.

연구 동기 및 목표

• 분산 고에너지 물리 실험을 위한 경량적이고 확장 가능하며 모듈형 DAQ 소프트웨어 프레임워크를 설계하기.
• 사용자 및 커널 컨텍스트 간의 과도한 메모리 복사와 느린 저장소로 인한 성능 저하 요인을 제거하기.
• 기본 하드웨어와 운영 체제를 사용하여 1 GB/sec 이상의 데이터 처리량을 달성하기.
• 커널 로드 가능 모듈(KLD)을 통한 런타임 시 동적 로딩 및 언로딩을 통한 필터링 기능 구현하기.
• mmap(2)와 netgraph(4) 노드를 사용한 효율적이고 저비용의 커널과 사용자 공간 간 데이터 교환 지원하기.

제안 방법

• 프레임워크는 netgraph(4)를 핵심 데이터 전송 및 처리 엔진으로 사용하여 모듈형이고 계층적인 데이터 흐름 라우팅을 가능하게 한다.
• 데이터 처리를 커널 컨텍스트에서 실행하기 위해 커널 스레드를 사용하여 선점적 스케줄링 오버헤드를 제거하고 컨텍스트 스위칭 오버헤드를 감소시킨다.
• ng_mm(4) 노드는 커널과 사용자 공간 간의 공유 메모리 매핑을 제공하여 mmap(2)를 통해 패킷 버퍼에 직접 액세스할 수 있게 하며, 소켓 I/O 계층을 제거한다.
• 필터링은 제어 메시지(addflt/delflt)를 통해 동적으로 등록되는 로드 가능 KLD 모듈을 통해 구현되며, 런타임 플러그인 기능을 가능하게 한다.
• ng_filter(4) 노드는 필터 함수를 체인 형태로 순차적으로 적용하여 패킷 스트림을 관리하며, 각 함수가 0을 반환하면 패킷을 통과시키고, 비-zero를 반환하면 해제한다.
• 사용자 공간 유틸리티인 ngget(1)과 ngput(1)은 ng_socket(4)와 ng_mm(4)를 모두 사용하여 데이터 교환을 지원하며, 성능을 고려해 ng_mm(4)를 우선적으로 사용한다.

실험 결과

연구 질문

• RQ1 표준 하드웨어에서 자원 소비를 최소화하면서도 1 GB/sec 이상의 처리량을 달성할 수 있는 DAQ 시스템의 설계 방법은 무엇인가?
• RQ2 분산 DAQ 시스템에서 커널과 사용자 공간 간에 효율적이고 저지연 데이터 전송을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 성능 저하 없이 런타임 중에 동적 필터링과 모듈형 처리를 어떻게 실현할 수 있는가?
• RQ4 고속 데이터 수집 환경에서 하드디스크와 같은 느린 미디어에 대한 중간 저장소를 제거할 수 있는 메커니즘은 무엇인가?
• RQ5 커널과 사용자 공간 컴포onent 간에 최소한의 복사로 효율적으로 동기화하고 통신할 수 있는 방법은 무엇인가?

주요 결과

• ngdp 프레임워크는 ng_mm(4)를 통한 커널-사용자 메모리 매핑을 통해 사용자 및 커널 컨텍스트 간의 메모리-메모리 복사를 피함으로써 고처리량(>1 GB/sec)을 달성한다.
• 데이터 처리를 위한 커널 스레드 사용으로 선점적 스케줄링 오버헤드가 제거되고 데이터 흐름 관리의 지연이 감소한다.
• KLD 모듈과 제어 메시지(addflt/delflt)를 통한 동적 필터 로딩 및 언로딩은 런타임 중 데이터 처리 파이프라인의 재구성 가능성을 제공한다.
• ng_filter(4) 노드는 필터 함수를 순차적으로 적용하여 패킷 스트림을 성공적으로 관리하며, 비-zero 반환 시 조기 종료를 통해 불필요한 처리를 줄인다.
• ngget(1)과 ngput(1) 유틸리티는 ng_socket(4)와 ng_mm(4)를 모두 사용하여 효과적인 데이터 교환을 수행하며, 후자는 직접 메모리 액세스 덕분에 뛰어난 성능을 보인다.
• 프레임워크는 데이터를 전체 처리 기간 동안 주 메모리에 유지함으로써 하드디스크와 같은 느린 미디어에 대한 중간 저장소를 성공적으로 제거한다.