[논문 리뷰] Protecting Memory-Performance Critical Sections in Soft Real-Time Applications

Heechul Yun, Santosh Gondi외 1명|arXiv (Cornell University)|2015. 02. 08.

Real-Time Systems Scheduling참고 문헌 25인용 수 4

한 줄 요약

BWLOCK는 소프트 리얼타임 애플리케이션의 메모리 성능 핵심 구간을 동적으로 제어함으로써 비리얼타임 코어에서 발생하는 메모리 트래픽을 제한함으로써 성능에 민감한 영역을 보호하는 사용자 레벨 API와 커널 레벨 메모리 대역폭 제어 메커니즘입니다. 이는 메모리 대역폭이 높은 단계 동안 비리얼타임 코어의 메모리 트래픽을 동적으로 제한함으로써 근사적으로 완벽한 리얼타임 성능 격리 성능을 달성하며, 비리얼타임 워크로드의 처리량 저하 비용을 최소화합니다. Mplayer 및 WebRTC 워크로드에서 확인된 결과, 굵은 조각 모드에서는 17%의 처리량 감소, 미세 조각 모드에서는 7%의 처리량 감소를 보였습니다.

ABSTRACT

Soft real-time applications such as multimedia applications often show bursty memory access patterns---regularly requiring a high memory bandwidth for a short duration of time. Such a period is often critical for timely data processing. Hence, we call it a memory-performance critical section. Unfortunately, in multicore architecture, non-real-time applications on different cores may also demand high memory bandwidth at the same time, which can substantially increase the time spent on the memory performance critical sections. In this paper, we present BWLOCK, user-level APIs and a memory bandwidth control mechanism that can protect such memory performance critical sections of soft real-time applications. BWLOCK provides simple lock like APIs to declare memory-performance critical sections. If an application enters a memory-performance critical section, the memory bandwidth control system then dynamically limit other cores' memory access rates to protect memory performance of the application until the critical section finishes. From case studies with real-world soft real-time applications, we found (1) such memory-performance critical sections do exist and are often easy to identify; and (2) applying BWLOCK for memory critical sections significantly improve performance of the soft real-time applications at a small or no cost in throughput of non real-time applications.

연구 동기 및 목표

• 멀티코어 시스템에서 비리얼타임 워크로드의 메모리 대역폭 경쟁으로 인한 성능 저하 문제를 해결하기 위해.
• 멀티미디어 및 리얼타임 시스템에서 흔히 발생하는 급격이고 높은 메모리 대역폭 요구량을 보이는 주기인 메모리 성능 핵심 구간을 식별하고 격리하기 위해.
• 정적 대역폭 예약에 의존하지 않고도 리얼타임 성능을 보호할 수 있는 경량 사용자 레벨 API와 커널 레벨 제어 메커니즘을 설계하기 위해.
• 실제 소프트 리얼타임 애플리케이션에서 동시 워크로드 상황에서 BWLOCK의 실용성과 효과성을 평가하기 위해.
• 사용 가능한 메모리 대역폭을 더 효율적으로 활용하기 위해 정적 예약보다 선택적이고 동적 대역폭 조절이 더 효율적임을 입증하기 위해.

제안 방법

• BWLOCK는 응용 프로그램 코드 내에서 메모리 성능 핵심 구간을 선언하기 위한 락 유사 API를 도입하여 런타임에서 고메모리 요구량 단계를 식별할 수 있도록 합니다.
• 코어가 핵심 구간에 진입하면, BWLOCK는 다른 코어의 메모리 액세스 레이트를 제한하여 간섭을 방지하는 대역폭 제어 메커니즘을 트리거합니다.
• 시스템은 소프트웨어 기반 주기적 모니터링 및 조정 메커니즘을 사용하여 핵심 구간 실행 중 비핵심 코어의 대역폭 캡을 강제로 적용합니다.
• BWLOCK는 미세 조각 모드와 굵은 조각 모드를 모두 지원합니다: 미세 조각 모드는 특정 코드 영역을 대상으로 하고, 굵은 조각 모드는 전체 응용 프로그램 실행을 핵심 구간으로 간주합니다.
• 이 메커니즘은 커널 레벨에서 작동하며 기존의 성능 모니터링 및 자원 제어 인터페이스를 활용하여 메모리 트래픽을 동적으로 조절합니다.
• BWLOCK는 기존의 캐시 및 메모리 파artitioning 기법(예: 페이지 컬러링 등)과 수직적(orthogonal)이며, 하드웨어 지원을 통해 더 낮은 오버헤드를 확보할 수 있도록 설계되어 있습니다.

실험 결과

연구 질문

• RQ1 프로파일링 기법을 사용하여 실제 소프트 리얼타임 애플리케이션에서 메모리 성능 핵심 구간을 신뢰성 있게 식별할 수 있는가?
• RQ2 핵심 구간 동안 비리얼타임 메모리 트래픽을 동적으로 제한함으로써 리얼타임 애플리케이션의 성능 향상이 현저하게 이루어지는가?
• RQ3 BWLOCK의 동적 조절 방식이 정적 대역폭 예약 방식에 비해 메모리 대역폭 활용도와 성능 격리 측면에서 어떤가?
• RQ4 리얼타임 워크로드를 보호할 때 비리얼타임 응용 프로그램에 대한 BWLOCK의 성능 오버헤드는 어느 정도인가?
• RQ5 BWLOCK는 멀티미디어 픐레이어 및 WebRTC 프레임워크와 같은 다양한 실제 소프트 리얼타임 시스템에 효과적으로 적용될 수 있는가?

주요 결과

• Mplayer 및 WebRTC와 같은 실제 소프트 리얼타임 애플리케이션에는 메모리 성능 핵심 구간이 존재하며, perf와 같은 프로파일링 도구를 통해 식별 가능합니다.
• 굵은 조각 모드에서 BWLOCK는 Mplayer에 대해 근사적으로 완벽한 리얼타임 성능 격리 성능을 달성하며 비리얼타임 워크로드의 처리량은 오직 17% 감소합니다.
• 미세 조각 모드에서 BWLOCK는 Mplayer의 리얼타임 성능을 17% 향상시키며 비리얼타임 처리량은 오직 7% 감소시킵니다.
• WebRTC 프레임워크에서도 유사한 성능 향상이 관찰되어 BWLOCK의 효과성이 다양한 리얼타임 워크로드에 걸쳐 확인되었습니다.
• BWLOCK의 동적이고 선택적인 대역폭 제어는 정적 예약보다 더 효율적이며, 비핵심 단계 동안 메모리 대역폭의 낭비를 방지합니다.
• 이 접근 방식은 소프트웨어 복잡도가 낮고 런타임 오버헤드가 적어 실생산 환경에서 실용적이고 타당합니다.