[논문 리뷰] Taking back control of HPC file systems with Robinhood Policy Engine

Thomas Leibovici|arXiv (Cornell University)|2015. 05. 06.

Advanced Data Storage Technologies참고 문헌 1인용 수 14

한 줄 요약

Robinhood Policy Engine는 느린 POSIX 네임스페이스 스캔 대신 증분 메타데이터 모니터링과 SQL 기반 쿼리로 대체함으로써 페타스케일 HPC 파일 시스템의 효율적이고 실시간 관리를 가능하게 하는 오픈소스이자 데이터베이스 기반의 시스템입니다. 정책 자동화, 실시간 통계, 그리고 MDT ChangeLogs와 OST 풀과 같은 루스트르 전용 기능을 지원하여 수십억 개 파일을 가진 시스템에서 관리 부담을 크게 줄입니다.

ABSTRACT

Today, the largest Lustre file systems store billions of entries. On such systems, classic tools based on namespace scanning become unusable. Operations such as managing file lifetime, scheduling data copies, and generating overall filesystem statistics become painful as they require collecting, sorting and aggregating information for billions of records. Robinhood Policy Engine is an open source software developed to address these challenges. It makes it possible to schedule automatic actions on huge numbers of filesystem entries. It also gives a synthetic understanding of file systems contents by providing overall statistics about data ownership, age and size profiles. Even if it can be used with any POSIX filesystem, Robinhood supports Lustre specific features like OSTs, pools, HSM, ChangeLogs, and DNE. It implements specific support for these features, and takes advantage of them to manage Lustre file systems efficiently.

연구 동기 및 목표

• 수십억 개의 메타데이터 항목을 포함한 페타스케일 HPC 파일 시스템에서 전통적인 POSIX 도구(예: find, du)의 확장성 한계를 해결합니다.
• 전체 네임스페이스 스캔 대신 증분 메타데이터 모니터링을 통해 대규모 HPC 환경에서의 관리 부담을 감소시킵니다.
• 지속적이고 색인화된 데이터베이스를 사용하여 실시간으로 정확한 통계 및 정책 시행을 가능하게 하여 파일 시스템, 특히 루스트르에서의 관리 효율을 높입니다.
• HSM, OST 풀링, ChangeLog 통합과 같은 고급 기능을 지원하여 현대의 HPC 스토리지 워크로드와 일치시킵니다.
• 향후 v3 아키텍처에서 확장 가능하고 플러그인 기반의 정책 자동화를 통해 데이터 라이프사이클 관리, 무결성 검사, 사용자 활동 추적을 지원합니다.

제안 방법

• 파일 시스템 메타데이터를 복제하는 중앙 데이터베이스를 사용하여, 파일 시스템 스캔 대신 빠른 SQL 기반 쿼리를 가능하게 합니다.
• 루스트르 MDT ChangeLogs를 활용하여 메타데이터 변경 사항을 증분적으로 감지함으로써 전체 스캔을 피하고 실시간에 가까운 데이터 일관성을 확보합니다.
• 처리되는 항목에 따라 실시간으로 업데이트되는 사전 집계된 통계(예: 사용자별 크기, 파일 크기 프로파일)를 구현합니다.
• 파일 속성(크기, 소유자, 경로, HSM 상태) 기반의 정책 규칙을 구현하고 아카이빙 또는 삭제와 같은 조치를 트리거합니다.
• Robinhood v3에서 사용자 정의 정책을 구성 또는 코드 기반으로 구현할 수 있도록 플러그인 아키텍처를 도입합니다.
• 고성능 MDS 로드 상황에서 단일 데이터베이스 배포로 인한 병목 현상을 피하기 위해 향후 분산 데이터베이스 모델을 고려합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 기존 POSIX 도구의 한계를 초월하여 페타스케일 HPC 파일 시스템의 메타데이터 관리를 효율적이고 확장 가능하게 만들 수 있을까요?
• RQ2 ChangeLogs를 통한 증분 메타데이터 모니터링은 파일 시스템 관리의 지연 시간과 자원 소비를 어느 정도 줄일 수 있을까요?
• RQ3 중앙 집중식이고 색인화된 데이터베이스 모델은 수십억 개의 파일에서 실시간으로 정확한 통계 및 정책 시행을 확장 가능한 방식으로 제공할 수 있을까요?
• RQ4 HSM 및 데이터 티어링과 같은 진화하는 HPC 스토리지 워크로드를 지원하기 위해 정책 자동화를 어떻게 일반화하고 확장 가능하게 만들 수 있을까요?
• RQ5 미래의 HPC 시스템에서 SSD, 회전 디스크 등 이질적인 스토리지와 분산 네임스페이스를 지원하기 위해 Robinhood의 아키텍처에 어떤 변화가 필요할까요?

주요 결과

• Robinhood는 기존에 수 시간이 걸리는 스캔이 필요한 사용자별 파일 수, 공간 사용량, 평균 파일 크기 등의 핵심 파일 시스템 통계에 O(1) 접근을 가능하게 합니다.
• 사전 집계된 실시간 업데이트가 가능한 데이터베이스 뷰를 사용함으로써, 예를 들어 사용자별 크기 또는 인오드 수 기준 상위 사용자 통계를 조회하는 데에 수십 시간이 걸리던 것을 밀리초 수준의 응답 시간으로 단축시켰습니다.
• MDT ChangeLogs를 통한 증분 처리 방식 덕분에 파일 시스템에 대한 부담을 최소화하면서도 최신 메타데이터 상태를 유지할 수 있습니다.
• Robinhood는 파일 크기, 소유자, 액세스 패턴과 같은 조건에 의해 트리거되는 실시간 경고 및 정책 조치를 지원하여 능동적인 데이터 관리가 가능합니다.
• Robinhood v3의 플러그인 기반 아키텍처를 통해 관리자가 최소한의 코드로 사용자 정의 정책(예: 작업 수준 추적, 무결성 검사)을 정의할 수 있어 확장성이 향상되었습니다.
• 시스템은 이미 생산 환경에서 사용 가능하며, Bull, Cray, Intel 등의 주요 루스트르 배포판에 통합되어 있어 대규모 HPC 환경에서의 도입과 안정성을 입증했습니다.