[논문 리뷰] Circuitscape in Julia: High Performance Connectivity Modelling to Support Conservation Decisions

Ranjan Anantharaman, Kimberly R. Hall외 2명|arXiv (Cornell University)|2019. 06. 08.

Wildlife-Road Interactions and Conservation참고 문헌 25인용 수 31

한 줄 요약

이 논문은 광범위하게 사용되는 Circuitscape 소프트웨어를 Julia 프로그래밍 언어로 재구현한 고성능 구현체인 Circuitscape.jl을 제시한다. 이는 최대 1800% 빠른 계산 속도를 제공하며, 최대 43700만 개의 격자 셀을 포함한 지형도를 처리할 수 있다. 이 업그레이드 버전은 Julia의 고급 병렬 처리 기능과 효율적인 해법기를 활용하여 보존 계획을 위한 연결성 모델링을 가속화하며, 빠른 민감도 분석과 더 높은 해상도 데이터를 사용한 대규모 생태학적 모델링을 가능하게 한다.

ABSTRACT

Connectivity across landscapes influences a wide range of conservation-relevant ecological processes, including species movements, gene flow, and the spread of wildfire, pests, and diseases. Recent improvements in remote sensing data suggest great potential to advance connectivity models, but computational constraints hinder these advances. To address this challenge, we upgraded the widely-used Circuitscape connectivity package to the high performance Julia programming language. Circuitscape.jl allows users to solve problems faster via improved parallel processing and solvers, and supports applications to larger problems (e.g., datasets with hundreds of millions of cells). We document speed improvements of up to 1800\%. We also demonstrate scaling of problem sizes up to 437 million grid cells. These improvements allow modelers to work with higher resolution data, larger landscapes and perform sensitivity analysis effortlessly. These improvements accelerate the pace of innovation, helping modelers address pressing challenges like species range shifts under climate change. Our collaboration between ecologists and computer scientists has led to the use of connectivity models to inform conservation decisions. Further, these next generation connectivity models will produce results faster, facilitating stronger engagement with decision-makers.

연구 동기 및 목표

• 더 높은 해상도의 위성 원격 감시 데이터에 의해 증가하는 경향이 있는 경계 연결성 모델링의 계산 요구량을 해결하기 위해.
• 기존 Circuitscape 버전의 성능 한계를 극복하여 수억 개의 격자 셀을 포함한 데이터셋을 효율적으로 처리하지 못하는 문제를 해결하기 위해.
• 시간 민감도가 높은 보존 결정을 지원하기 위해 더 빠르고 확장 가능하며 병렬 처리가 가능한 연결성 모델링을 실현하기 위해.
• 열린 소스이고 사용자 친화적인 도구에 고성능 컴퓨팅 기능을 통합하기 위해.
• 기존에 너무 오래 걸려 실용적이지 않았던 민감도 분석 및 시나리오 테스트를 극적으로 단축된 실행 시간 덕분에 가능하게 하기 위해.

제안 방법

• Julia 프로그래밍 언어를 활용하여 Circuitscape 소프트웨어를 재구현함으로써 고성능 컴파일러와 내장된 병렬 처리 기능을 최대한 활용하였다.
• 회로 이론 기반 연결성 모델에서 발생하는 큰 희소 선형 시스템을 빠르게 해결하기 위해 고급 선형 해법기, 특히 대수적 다중 격자(AMG) 및 코レス키 기반의 CHOLMOD를 사용하였다.
• 다중 문제 인스턴스에 대한 병렬 실행을 가능하게 하였으며, 여러 CPU 코어를 통해 큰 지형도의 타일 기반 처리를 지원하였다.
• 단일 노드 및 다중 노드 병렬 실행을 모두 지원하도록 소프트웨어를 설계하여 리눅스, 맥OS, 윈도우 플랫폼 간의 호환성을 확보하였다.
• Julia의 패키지 매니저 및 생태학적 계산 도구와의 조합을 가능하게 하기 위해 생태학적 계산 생태계와 통합하였다.
• 모든 주요 Circuitscape 사용 사례, 즉 전부-한 및 전부-모두 연결성 분석을 모두 완전한 병렬 처리 기능과 함께 지원하였다.

실험 결과

연구 질문

• RQ1 Julia로 재구현한 Circuitscape는 기존의 파이썬 및 MATLAB 버전에 비해 상당한 성능 향상을 달성할 수 있는가?
• RQ2 특히 수억 개의 격자 셀을 포함한 데이터셋에 대해, Julia 기반 Circuitscape의 성능은 문제 크기가 증가함에 따라 어떻게 스케일링되는가?
• RQ3 모든-한 분석과 같은 복잡한 연결성 모델링 작업의 경우, Julia의 병렬 처리가 실행 시간을 얼마나 줄일 수 있는가?
• RQ4 이전에는 너무 오래 걸려 실용적이지 않았던 저항 지ap의 민감도 분석을 새 구현체는 얼마나 신속하게 수행할 수 있는가?
• RQ5 Julia에서 고성능 해법기와 병렬 처리 기능을 통합함으로써 보존 결정 과정에서의 사용성 향상과 이해관계자 참여는 어떻게 향상되는가?

주요 결과

• Julia 기반 Circuitscape(Circuitscape.jl)는 이전 버전 대비 최대 1800%의 속도 향상을 달성하여 모델 실행 속도를 크게 향상시켰다.
• 소프트웨어는 최대 43700만 개의 격자 셀을 포함한 문제까지 스케일링하여, 높은 해상도로 대륙 규모의 지형도 분석이 가능하게 하였다.
• 이전에 2일 이상이 걸렸던 소노라 사막 데이터셋에 대한 모든-한 연결성 분석이, 새롭게 병렬 처리된 Julia 기반 구현체를 통해 3시간 이내에 완료되어 17.5배의 속도 향상을 달성하였다.
• 새로운 구현체는 여러 타일 및 문제 인스턴스에 대한 완전한 병렬 처리를 지원하여 표준 하드웨어에서도 큰 지형도의 효율적 처리를 가능하게 하였다.
• Julia의 고급 컴파일러와 해법기 통합 덕분에 저항 지도의 프로토타이핑과 반복 테스트가 더 빨라졌으며, 이는 이전에는 너무 느려 실용적이지 않았던 민감도 분석을 가능하게 하였다.
• Circuitscape.jl은 이제 오픈 소스로 공개되었으며, Julia 패키지 매니저를 통해 이용 가능하며, 다양한 운영 체제에서의 배포를 위한 바이너리도 제공된다.