[논문 리뷰] FBase: A Replication Service for Data-Intensive Fog Applications

Jonathan Hasenburg, Martin Grambow외 1명|arXiv (Cornell University)|2019. 12. 06.

IoT and Edge/Fog Computing참고 문헌 31인용 수 8

한 줄 요약

FBase는 이질적이고 지리적으로 분산된 퍼그 노드 간에 선언적이고 애플리케이션 제어형 데이터 배치를 가능하게 함으로써 데이터 집약적 퍼그 애플리케이션의 개발을 단순화하기 위해 설계된 미들웨어 복제 서비스이다. 인프라의 이질성을 추상화하고 다중 테넌시를 지원하여 개발자가 저수준의 조율 없이도 데이터 분포 정책을 지정할 수 있도록 하며, 실제 사례 평가를 통해 응용 프로그램 코드의 복잡성이 크게 감소하는 것으로 나타났다.

ABSTRACT

The combination of edge and cloud in the fog computing paradigm enables a new breed of data-intensive applications. These applications, however, have to face a number of fog-specific challenges which developers have to repetitively address for every single application. In this paper, we propose a replication service specifically tailored to the needs of data-intensive fog applications that aims to ease or eliminate challenges caused by the highly distributed and heterogeneous environment fog applications operate in. Furthermore, we present our prototypical proof-of-concept implementation FBase that we have made available as open source.

연구 동기 및 목표

• 개발자가 반복적으로 저수준의 데이터 분포 및 복제 문제를 해결해야 하는 고도로 분산되고 이질적인 환경에서 데이터 집약적 퍼그 애플리케이션을 개발하는 데 도전하는 것.
• 애플리케이션 로직과 인프라 관리 간의 분리가 가능한 미들웨어 추상화를 제공함으로써 응용 프로그램 복잡성을 줄이는 것.
• 인프라의 이질성을 숨기면서도 애플리케이션 제어형 복제 배치를 가능하게 하며 기존 시스템과의 통합을 지원하는 것.
• 엣지 환경에서 자원의 효율적 이용을 위해 다중 테넌시를 본질적으로 지원하는 서비스를 설계하는 것.
• 프로토타입과 실제 사례를 통한 검증을 통해 접근 방식의 타당성과 이점을 평가하는 것.

제안 방법

• FBase는 데이터 관리를 위한 BigTable 유사 키-값 인터페이스를 제공하여 저수준 복제 및 분포 로직을 추상화한다.
• 선언적 구성 방식을 사용하여 복제 토폴로지 및 TTL 설정을 포함한 데이터 배치 정책을 정의한다.
• 동일한 퍼그 노드에 여러 애플리케이션이 공유하는 단일 서비스 인스턴스를 통해 다중 테넌시를 지원한다.
• 사용자 정의 가능한 데이터 인그레스 및 아웃그레스 인터페이스를 통해 외부 시스템(예: 센서, 스트림 프로세서)과의 통합을 가능하게 한다.
• 응용 프로그램에서 지정한 규칙에 따라 FBase가 자동으로 복제를 관리하며, 로드 밸런싱 및 장애 내성 메커니즘을 포함한다.
• 프로토타입은 오픈소스 소프트웨어로 구현되었으며, 마이크로 벤치마크와 세 가지 실제 퍼그 애플리케이션 시나리오를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 어떻게 복제 서비스가 고도로 분산되고 이질적인 환경에서 데이터 집약적 퍼그 애플리케이션 개발을 단순화할 수 있는가?
• RQ2 인프라 복잡성을 숨기면서도 애플리케이션 제어형 데이터 배치를 가능하게 하기 위해 필요한 추상화는 무엇인가?
• RQ3 어떻게 엣지 환경에서 자원 공유를 효율적으로 지원하면서 다중 테넌시를 지원하는 복제 서비스를 설계할 수 있는가?
• RQ4 TTL, 장애 모드 및 네트워크 파artition을 포함한 복제 구성에서 성능과 정확성 간의 상충 관계는 무엇인가?
• RQ5 실제 퍼그 사용 사례에서 FBase는 응용 프로그램 코드 복잡성을 얼마나 줄일 수 있는가?

주요 결과

• FBase는 애플리케이션 개발자가 데이터 분포 정책을 선언적으로 정의할 수 있도록 하여 퍼그 애플리케이션에서 맞춤형 데이터 관리 코드의 필요성을 줄였다.
• 프로토타입 구현은 복잡한 데이터 분포 로직이 매우 간결하게 표현될 수 있음을 보여주며, 최소한의 애플리케이션 수준 코드로도 충분히 기능함을 입증했다.
• 마이크로 벤치마크 결과, FBase는 다양한 네트워크 조건과 로드 환경에서도 예측 가능한 지연 시간을 유지하면서 고처리량 데이터 복제를 지원함을 확인했다.
• 센서 데이터 파이프라인 및 다중 사이트 분석과 같은 실제 사례에서 FBase는 퍼그 노드 간 데이터 흐름을 관리하는 복잡성을 크게 감소시켰다.
• 시스템은 TTL 설정 및 복제 토폴로지와 같은 핵심 상충 관계를 사용자 정의 가능한 컨트롤로 노출하여 개발자가 데이터 내구성과 성능 간의 균형을 조정할 수 있도록 했다.
• FBase는 데이터베이스가 아니지만, 향후 관계형 또는 시계열 워크로드를 지원하기 위한 확장이 가능한 분산 퍼그 데이터스토어의 기초가 될 수 있다.