[논문 리뷰] ImarisWriter: Open Source Software for Storage of Large Images in Blockwise Multi-Resolution Format

Igor Beati, Eliana Andreica외 1명|arXiv (Cornell University)|2020. 08. 24.

Parallel Computing and Optimization Techniques인용 수 8

한 줄 요약

ImarisWriter는 IMS 형식으로 대규모 블록 기반 다중 해상도 이미지를 빠르게 쓸 수 있도록 설계된 오픈소스 고성능 C++ 라이브러리로, 효율적인 입출력, 병렬 청크 처리, 압축 및 다중 스레딩 처리를 지원합니다. 이 라이브러리는 100GB 이미지를 2분 이내에 기록하며, 과학적 영상 처리 워크플로우에 원활하게 통합될 수 있도록 복잡한 저수준 작업을 추상화합니다.

ABSTRACT

We publish as open source a high performance file writer library to store large images in the IMS format for high performance visualization and analysis. The library is capable of writing images at high speed. In just over 1 minute it can write a 100GB image to disk. The library takes care of all the details of multi-resolution resampling, chunking, compression, and multi-threading. It makes high performance writing of images in a useful format very easy.

연구 동기 및 목표

• 과학적 영상 응용 분야에서 매우 큰 이미지를 효율적으로 저장하고 관리하는 데 도전하는 데 목적이 있습니다.
• 개발자 부담을 최소화하면서 디스크에 다중 해상도 영상 데이터를 고성능으로 기록할 수 있는 확장 가능한 솔루션을 제공하는 데 목적이 있습니다.
• 청크화, 압축, 스레딩과 같은 저수준 복잡성을 추상화하여 영상 소프트웨어 스택에 신속하게 통합할 수 있도록 하는 데 목적이 있습니다.
• 마이크로스코피 및 생물의학 영상에서 사용되는 테라바이트 규모의 영상 데이터 세트를 위한 고처리량 입출력을 지원하는 데 목적이 있습니다.
• 생산 준비가 된 오픈소스 라이브러리를 공개하여 대규모 영상 데이터 워크플로우에서 재현 가능성과 상호운용성을 보장하는 데 목적이 있습니다.

제안 방법

• 라이브러리는 대규모 이미지를 효율적인 입출력을 위해 공간적으로 인덱싱된 타일로 나누는 블록 기반 다중 해상도 이미지 형식을 구현합니다.
• 이를 통해 이미지 처리 및 입출력 작업을 병렬화하기 위해 다중 스레딩을 적용하여 왤기 처리 속도를 크게 향상시킵니다.
• 각 청크 단위로 효율적인 알고리즘을 사용해 압축을 적용함으로써 저장 용량을 줄이면서도 무작위 액세스 성능을 손상시키지 않습니다.
• 자동 다중 해상도 리샘플링을 지원하여 점진적 시각화를 위한 피라미드 레벨을 생성합니다.
• 무작위 액세스 및 스트리밍에 최적화된, 시각화 및 분석 워크로드를 고려해 설계된 고유한 파일 형식(IMS)을 사용합니다.
• 기존 과학적 영상 소프트웨어에의 통합을 위해 명확한 인터페이스를 제공하는 C++ API를 통해 구현을 노출합니다.

실험 결과

연구 질문

• RQ1 무작위 액세스 성능을 유지하면서도 고처리량으로 대규모 다중 해상도 이미지를 디스크에 기록할 수 있는 방법은 무엇인가요?
• RQ2 확장 가능한 영상 저장 시스템에서 청크화, 압축 및 스레딩을 관리하는 데 발생하는 성능 오버헤드는 얼마인가요?
• RQ3 오픈소스 라이브러리가 과학적 영상 워크로드에서 성능을 손상시키지 않고 저수준 입출력 복잡성을 추상화할 수 있을까요?
• RQ4 블록 기반 다중 해상도 저장 방식을 사용할 때 테라바이트 규모의 영상 데이터 세트에 대한 기록 속도는 얼마일 수 있을까요?
• RQ5 라이브러리의 설계는 생물의학 영상 분야의 기존 시각화 및 분석 도구와의 상호운용성을 어떻게 지원할 수 있을까요?

주요 결과

• 라이브러리는 100GB 이상의 이미지를 1분 이상 2분 이내에 기록하여 대규모 영상 데이터에 대해 고처리량 성능을 입증합니다.
• 시스템은 단일 통합 파이프라인 내에서 다중 해상도 리샘플링, 청크화, 압축 및 스레딩을 효과적으로 관리합니다.
• 오픈소스 공개를 통해 IMS 형식의 재현 가능성과 커뮤니티 기반 확장이 가능해져 과학적 영상 분야에 기여합니다.
• 복잡한 입출력 및 메모리 관리 문제를 추상화하여 개발자가 저수준 저장 세부 사항이 아닌 알고리즘 논리에 집중할 수 있도록 합니다.
• 효율적인 무작위 액세스 및 점진적 로딩을 지원하여 대규모 영상의 상호작용 기반 시각화에 필수적인 요소를 확보합니다.
• 생산용으로 사용 가능한 솔루션으로, 생명과학 및 마이크로스코피 분야의 고성능 영상 처리 워크플로우에 통합하기에 적합합니다.