[논문 리뷰] NebulOS: A Big Data Framework for Astrophysics

Nathaniel R. Stickley, Miguel A. Aragón-Calvo|arXiv (Cornell University)|2015. 03. 08.

Gamma-ray bursts and supernovae참고 문헌 12인용 수 3

한 줄 요약

NebulOS는 기존 소프트웨어를 수정하지 않고도 데이터센터 클러스터에서 익숙한 파이썬 스크립트를 사용해 대량의 병렬 데이터 분석 파이프라인을 실행할 수 있도록 해주는 빅데이터 프레임워크입니다. Hadoop의 HDFS를 FUSE-DFS를 통해 활용하고 사용자 友好的 인터페이스 및 작업 모니터링을 추가함으로써, 개발 시간을 단축시키고 최소한의 공학적 부담으로 페타스케일 천체물리학 데이터셋에 대한 효율적이고 장애에 강한 데이터 처리를 가능하게 합니다.

ABSTRACT

We introduce NebulOS, a Big Data platform that allows a cluster of Linux machines to be treated as a single computer. With NebulOS, the process of writing a massively parallel program for a datacenter is no more complicated than writing a Python script for a desktop computer. The platform enables most pre-existing data analysis software to be used, as scale, in a datacenter without modification. The shallow learning curve and compatibility with existing software greatly reduces the time required to develop distributed data analysis pipelines. The platform is built upon industry-standard, open-source Big Data technologies, from which it inherits several fault tolerance features. NebulOS enhances these technologies by adding an intuitive user interface, automated task monitoring, and other usability features. We present a summary of the architecture, provide usage examples, and discuss the system's performance scaling.

연구 동기 및 목표

• 기존 슈퍼컴퓨터의 I/O 및 처리 능력을 초월하는 페타스케일 천체물리학 데이터셋을 분석하는 데 증가하는 도전 과제를 해결하기 위해.
• 기존 데이터 분석 도구가 수정 없이 분산 환경에서 실행될 수 있도록 하여 천문학자들이 소프트웨어 공학의 장벽을 낮추기 위해.
• 천체물리학 과학 데이터 워크로드에 특화된 장애 내성, 확장성, 사용자 친화적인 빅데이터 플랫폼을 제공하기 위해.
• 저수준 자바 기반 프로그래밍을 고수준 파이썬 인터페이스와 자동 모니터링으로 대체함으로써 빅데이터 프레임워크의 사용성을 천체물리학 분야의 비전문가 사용자에게 향상시키기 위해.

제안 방법

• NebulOS는 FUSE(Filesystem in Userspace)를 통해 Hadoop 분산 파일 시스템(HDFS)을 로컬 파일 시스템으로 노출시켜 분산 데이터에 투명하게 접근할 수 있도록 합니다.
• 클러스터 관리 기능을 추상화한 파이썬 기반 애플리케이션 프레임워크를 사용하여, 사용자가 단일 머신에서 실행하는 것처럼 표준 파이썬 스크립트를 작성할 수 있도록 합니다.
• 자동 작업 모니터링 및 웹 기반 사용자 인터페이스를 포함하여 클러스터 운영 및 디버깅을 간소화합니다.
• 노드 장애 발생 시 자동으로 작업 재실행을 수행하는 Hadoop의 장애 내성 기능을 그대로 활용합니다.
• 코드 수정 없이도 기존 과학 소프트웨어를 클러스터에서 직접 실행할 수 있도록 하며, 데이터 로컬리티를 위해 HDFS를 활용합니다.
• 사전 빌드된 시스템 이미지를 통해 아마존 EC2와 같은 클라우드 플랫폼에 쉽게 배포할 수 있으며, 15분 이내로 클러스터를 신속히 프로비저닝할 수 있습니다.

실험 결과

연구 질문

• RQ1 기존 분석 소프트웨어를 수정하지 않고도 데이터센터 클러스터에서 실행할 수 있도록 하는 빅데이터 프레임워크를 설계할 수 있는가?
• RQ2 천체물리학 분야의 비전문가 과학 사용자를 위해 빅데이터 프레임워크의 사용성을 어떻게 향상시킬 수 있는가?
• RQ3 데이터 로컬리티와 장애 내성 기능을 얼마나 효과적으로 활용하여 페타스케일 천체물리학 데이터셋에서 성능을 향상시킬 수 있는가?
• RQ4 FUSE-DFS를 통해 Hadoop 기반 시스템을 효과적으로 추상화하여 과학 워크로드에 대해 로컬 환경과 유사한 원활한 경험을 제공할 수 있는가?
• RQ5 파이썬 중심의 빅데이터 프레임워크가 천체물리학 데이터 파이프라인에 대해 어떤 성능 및 확장성 특성을 가지는가?

주요 결과

• NebulOS는 기존의 천체물리학 데이터 분석 소프트웨어를 코드 수정 없이 클러스터에서 실행할 수 있도록 하여 개발 시간을 크게 단축시켰습니다.
• 사용자가 데스크톱에서 실행하는 것처럼 파이썬 스크립트를 작성할 수 있도록 함으로써 학습 곡선을 줄였으며, 동시에 수천 개의 노드로 투명하게 확장 가능합니다.
• FUSE-DFS를 사용해 HDFS를 로컬 파일시스템으로 노출시킴으로써 데이터에 투명하게 접근할 수 있고, 데이터 로컬리티를 지원하여 I/O 성능을 향상시켰습니다.
• Hadoop의 내장 복제 및 자동 작업 재실행 기능을 통해 장애 내성을 확보하여 대규모 배포 환경에서 신뢰성을 확보했습니다.
• 아마존 EC2와 같은 클라우드 서비스에 대한 배포가 간편해졌으며, 사전 빌드된 시스템 이미지를 통해 15분 이내로 클러스터 설정이 가능했습니다.
• 작은 파일이나 큰 파일 처리에 한계가 있으며 태스크 간 직접 통신 기능이 없지만, 데이터 집약적인 천체물리학 워크플로우에 실용적이고 저비용의 솔루션을 제공합니다.