[논문 리뷰] AliEnFS - a Linux File System for the AliEn Grid Services

Andreas Peters, Pablo Sáiz외 1명|ArXiv.org|2003. 06. 13.

Distributed and Parallel Computing Systems인용 수 10

한 줄 요약

AliEnFS는 Linux 커널 기반의 가상 파일 시스템으로, LUFS를 사용해 AliEn 그리드의 가상 파일 카탈로그를 VFS 레이어에 통합함으로써 표준 쉘 명령어를 통해 전 세계적으로 분산된 데이터에 액세스할 수 있도록 한다. 이는 하이브리드 사용자 공간-커널 인터페이스를 통해 이질적인 스토리지 시스템을 통해 원격 데이터에 투명하고 상호작용 가능한 방식으로 액세스할 수 있도록 하며, 크로스링크 캐싱 아키텍처와 로드 밸런싱 I/O 게이트키퍼를 통해 성능과 확장성을 향상시킨다.

ABSTRACT

Among the services offered by the AliEn (ALICE Environment http://alien.cern.ch) Grid framework there is a virtual file catalogue to allow transparent access to distributed data-sets using various file transfer protocols. $alienfs$ (AliEn File System) integrates the AliEn file catalogue as a new file system type into the Linux kernel using LUFS, a hybrid user space file system framework (Open Source http://lufs.sourceforge.net). LUFS uses a special kernel interface level called VFS (Virtual File System Switch) to communicate via a generalised file system interface to the AliEn file system daemon. The AliEn framework is used for authentication, catalogue browsing, file registration and read/write transfer operations. A C++ API implements the generic file system operations. The goal of AliEnFS is to allow users easy interactive access to a worldwide distributed virtual file system using familiar shell commands (f.e. cp,ls,rm ...) The paper discusses general aspects of Grid File Systems, the AliEn implementation and present and future developments for the AliEn Grid File System.

연구 동기 및 목표

• 표준 리눅스 쉘 명령어를 사용해 ALICE와 같은 고에너지 물리학 실험에서 전 세계적으로 분산된 데이터에 투명하고 상호작용 가능한 액세스를 가능하게 한다.
• AliEn 가상 파일 카탈로그를 리눅스 커널의 VFS 레이어에 통합하여 분산 스토리지 시스템을 위한 통합 인터페이스를 제공한다.
• 하이브리드 사용자 공간-커널 프레임워크를 통해 이질적인 스토리지 요소(SEs)와 전송 프로토콜 간에 보안적이고 확장성 있고 효율적인 데이터 액세스를 지원한다.
• 장거리 데이터 전송을 줄이고 대규모 그리드 배포에서 I/O 성능을 향상시키기 위해 캐싱 및 로드 밸런싱 아키텍처를 구현한다.
• 사용자용 VFS와 애플리케이션용 C++ API를 통해 상호작용형 사용자 액세스와 애플리케이션 수준의 파일 I/O를 모두 지원하는 이중 경로 아키텍처를 제공한다.

제안 방법

• LUFS(Linux User-File System) — 하이브리드 사용자 공간 파일 시스템 프레임워크 — 를 활용해 AliEnFS를 VFS 모듈로 구현하고, VFS 인터페이스를 통해 AliEn 파일 시스템 데몬과 통신한다.
• URL을 사용해 논리적 파일 이름(LFNs)을 물리적 파일 이름(PFNs)으로 매핑하여 기반 스토리지 및 전송 프로토콜(RFIO, DCache, HTTP 등)을 추상화한다.
• 게이트키퍼 데몬을 사용해 I/O 요청을 가장 부하가 적은 슬레이브 서버 또는 캐시로 동적으로 리디렉션하여 로드 밸런싱과 고가용성을 확보한다.
• 지역 및 메인 캐시 클러스터에서 자주 액세스되는 파일을 캐시함으로써 중복된 장거리 데이터 전송을 줄이는 크로스링크 캐시 아키텍처를 구현한다.
• 동기식 파일 전송(cp, mv 등)과 파일 전송 큐를 통한 비동기 복제를 모두 지원하여 스토리지 요소 간 효율적인 데이터 복제를 가능하게 한다.
• NFS 또는 사마를 통해 가상 파일 시스템을 노출하여 클라이언트 노드에서 커널 모듈이 필요 없이 크로스플랫폼(리눅스 및 윈도우) 액세스를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이질적인 스토리지 시스템을 통해 전 세계적으로 분산된 데이터에 투명하고 상호작용 가능한 액세스를 제공하기 위해 리눅스에서 가상 파일 시스템을 어떻게 구현할 수 있는가?
• RQ2 여러 스토리지 요소와 동적 워크로드를 가진 그리드 파일 시스템에서 효율적인 로드 밸런싱과 장애 내성 보장을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 캐싱 메커니즘은 대규모 다중 사이트 그리드 배포에서 장거리 데이터 전송을 어떻게 줄이고 성능을 향상시킬 수 있는가?
• RQ4 커널 수준의 VFS 모듈과 애플리케이션 수준의 API 사이에 최적의 통합 전략은 무엇인가, 이를 통해 상호작용형 사용자와 고성능 컴퓨팅 워크로드를 모두 지원할 수 있는가?
• RQ5 인증, 파일 등록, 메타데이터 관리는 고에너지 물리학 데이터를 위한 가상 파일 시스템에 어떻게 보안적이고 투명하게 통합될 수 있는가?

주요 결과

• AliEnFS는 표준 리눅스 쉘 명령어(ls, cp, rm 등)가 로컬 파일인 것처럼 분산된 가상화된 데이터를 다룰 수 있도록 하여 사용자 경험을 원활하게 한다.
• LUFS를 통한 AliEnFS 통합은 시스템이 사용자 공간에서 작동하면서도 사용자와 애플리케이션에게는 네이티브 파일 시스템처럼 보이게 한다.
• 게이트키퍼 아키텍처는 I/O 요청을 가장 부하가 적은 슬레이브 서버로 동적으로 라우팅하여 시스템의 반응성과 확장성을 향상시킨다.
• 크로스링크 캐시 아키텍처는 지역 및 메인 캐시 클러스터에서 파일을 캐시함으로써 장거리 데이터 전송을 크게 줄여 접근 지연과 대역폭 효율성을 향상시킨다.
• 파일 복제 기능은 명시적 요청을 통한 수동 복제와 반복 액세스 시 자동 캐싱을 통한 수동 복제를 모두 지원하여 반복적인 장거리 전송의 필요성을 줄인다.
• 시스템은 VFS를 통한 상호작용형 사용자 액세스와 C++ API를 통한 애플리케이션 수준의 액세스를 모두 지원하여 다양한 컴퓨팅 환경에서의 유연한 배포를 가능하게 한다.