[논문 리뷰] Interoperable and scalable echosounder data processing with Echopype

Wu-Jung Lee, Landung Setiawan외 3명|arXiv (Cornell University)|2021. 10. 30.

Environmental Monitoring and Data Management인용 수 5

한 줄 요약

Echopype는 공동체가 정의한 관례를 따르며 원시 데이터를 레이블이 붙은 다차원 netCDF 배열로 표준화하여, 상호운용성 있고 확장 가능한 에코소나르 데이터 처리를 가능하게 하는 오픈소스 파이썬 라이브러리입니다. 이 라이브러리는 과학적 파이썬 라이브러리를 활용해 분산 계산을 지원하여 로컬 및 클라우드 환경에서 효율적인 분석을 가능하게 하며, 새로운 기기와 분석 함수에 대한 확장성도 제공합니다.

ABSTRACT

Echosounders are high-frequency sonar systems used to sense fish and zooplankton underwater. Their deployment on a variety of ocean observing platforms is generating vast amounts of data at an unprecedented speed from the oceans. Efficient and integrative analysis of these data, whether across different echosounder instruments or in combination with other oceanographic datasets, is crucial for understanding marine ecosystem response to the rapidly changing climate. Here we present Echopype, an open-source Python software library designed to address this need. By standardizing data as labeled, multi-dimensional arrays encoded in the widely embraced netCDF data model following a community convention, Echopype enhances the interoperability of echosounder data, making it easier to explore and use. By leveraging scientific Python libraries optimized for distributed computing, Echopype achieves computational scalability, enabling efficient processing in both local and cloud computing environments. Echopype's modularized package structure further provides a unified framework for expanding support for additional instrument raw data formats and incorporating new analysis functionalities. We plan to continue developing Echopype by supporting and collaborating with the echosounder user community, and envision that the growth of this package will catalyze the integration of echosounder data into broader regional and global ocean observation strategies.

연구 동기 및 목표

• 다양한 해양 관측 플랫폼에서 유입되는 이질적인 에코소나르 데이터를 관리하는 데 증가하는 도전 과제를 해결하기 위해.
• 공동체 기반 관례를 활용해 원시 에코소나르 데이터를 레이블이 붙은 다차원 netCDF 배열로 표준화함으로써 데이터 상호운용성을 향상시키기 위해.
• 최적화된 과학적 파이썬 라이브러리와의 통합을 통해 로컬 및 클라우드 컴퓨팅 환경에서의 확장 가능한 처리를 가능하게 하기 위해.
• 새로운 기기 형식과 분석 함수를 위한 향후 확장성을 지원하는 모듈식이고 확장 가능한 프레임워크를 제공하기 위해.
• 에코소나르 데이터를 보다 넓은 지역 및 글로벌 해양 관측 전략에 통합할 수 있도록 지원하기 위해.

제안 방법

• Echopype는 netCDF 데이터 모델을 사용하여 원시 에코소나르 데이터를 레이블이 붙은 다차원 배열로 변환함으로써 일관된 데이터 구조와 메타데이터를 보장합니다.
• 다양한 에코소나르 기기 간의 메타데이터 및 변수 이름 표준화를 위해 공동체 기반 데이터 관례를 구현합니다.
• Xarray와 Dask를 활용해 효율적인 I/O 및 병렬 계산을 구현하여 대규모 데이터셋에 대한 확장 가능한 처리를 가능하게 합니다.
• Echopype의 모듈식 아키텍처는 새로운 기기 형식과 분석 함수를 지원하기 위한 플러그인 컴포넌트를 허용합니다.
• Dask의 분산 계산 기능을 활용해 로컬 및 클라우드 기반 컴퓨팅을 모두 지원합니다.
• 오픈 표준에 기반하여 기존 과학적 파이썬 생태계와 통합되어 광범위한 호환성과 확장성을 확보합니다.

실험 결과

연구 질문

• RQ1 다양한 기기에서 유입되는 에코소나르 데이터는 어떻게 표준화되어야 하며, 이를 통해 연구 및 운영 플랫폼 간의 상호운용성이 어떻게 향상될 수 있을까요?
• RQ2 로컬 및 클라우드 환경에서 대규모 에코소나르 데이터셋을 효율적이고 확장 가능한 방식으로 처리하기 위한 계산 아키텍처는 무엇일까요?
• RQ3 새로운 에코소나르 형식과 분석 방법을 지원할 수 있도록 소프트웨어 프레임워크를 어떻게 설계할 수 있을까요?
• RQ4 통합 소프트웨어 라이브러리가 해양 관측 시스템에 에코소나르 데이터를 통합하는 데 있어 기술적 장벽을 얼마나 줄일 수 있을까요?
• RQ5 공동체 기반 데이터 관례는 해양 음향 데이터 분석에서 재현 가능성과 협업을 어떻게 향상시킬 수 있을까요?

주요 결과

• Echopype는 공동체 관례를 활용해 다양한 기기에서 유입되는 에코소나르 데이터를 일관된 netCDF 형식으로 표준화하는 데 성공했습니다.
• Dask와 Xarray와의 통합을 통해 대규모 에코소나르 데이터셋의 확장 가능한 처리를 가능하게 하여, 로컬 및 클라우드 워크플로우 모두를 지원합니다.
• Echopype의 모듈식 설계 덕분에 새로운 기기 형식과 분석 함수에 대한 유연한 확장이 가능합니다.
• 이 프레임워크는 데이터 상호운용성을 크게 향상시켜 이질적인 에코소나르 데이터를 처리하고 분석하는 데 소요되는 노력을 줄였습니다.
• 소프트웨어는 운영 및 연구 환경에서 채택되었으며, 개발 과정에서 에코소나르 사용자 공동체와의 활발한 협업이 이뤄졌습니다.
• Echopype는 ICES 저널 오브 머린 사이언스에 게재되어, 해양 데이터 처리 분야에서 과학적이고 기술적인 기여가 입증되었습니다.