[论文解读] Circuitscape in Julia: High Performance Connectivity Modelling to Support Conservation Decisions

Ranjan Anantharaman, Kimberly R. Hall+2 more|arXiv (Cornell University)|Jun 8, 2019

Wildlife-Road Interactions and Conservation参考文献 25被引用 31

一句话总结

本文介绍了 Circuitscape.jl，这是广泛使用的 Circuitscape 软件在 Julia 编程语言中的高性能重实现，可将计算速度提升高达 1800%，并支持包含多达 4.37 亿个栅格单元的景观。该升级利用 Julia 的高级并行计算能力和高效求解器，加速了保护规划中的连通性建模，实现了快速敏感性分析和更高分辨率数据下的大规模生态建模。

ABSTRACT

Connectivity across landscapes influences a wide range of conservation-relevant ecological processes, including species movements, gene flow, and the spread of wildfire, pests, and diseases. Recent improvements in remote sensing data suggest great potential to advance connectivity models, but computational constraints hinder these advances. To address this challenge, we upgraded the widely-used Circuitscape connectivity package to the high performance Julia programming language. Circuitscape.jl allows users to solve problems faster via improved parallel processing and solvers, and supports applications to larger problems (e.g., datasets with hundreds of millions of cells). We document speed improvements of up to 1800\%. We also demonstrate scaling of problem sizes up to 437 million grid cells. These improvements allow modelers to work with higher resolution data, larger landscapes and perform sensitivity analysis effortlessly. These improvements accelerate the pace of innovation, helping modelers address pressing challenges like species range shifts under climate change. Our collaboration between ecologists and computer scientists has led to the use of connectivity models to inform conservation decisions. Further, these next generation connectivity models will produce results faster, facilitating stronger engagement with decision-makers.

研究动机与目标

• 应对由更高分辨率遥感数据驱动的景观连通性建模日益增长的计算需求。
• 克服现有 Circuitscape 版本在处理包含数亿个栅格单元的数据集时的性能瓶颈。
• 实现更快、可扩展且并行化的连通性建模，以支持对时间敏感的保护决策。
• 将高性能计算能力集成到一个开源、用户友好的工具中，供生态学家和保护科学家使用。
• 通过将执行时间从数天缩短至数小时，显著减少计算时间，从而实现敏感性分析和情景测试。

提出的方法

• 将 Circuitscape 软件重实现为 Julia 编程语言，以利用其高性能编译器和原生并行计算支持。
• 采用先进的线性求解器，包括代数多重网格（AMG）和基于 Cholesky 分解的 CHOLMOD，以加速电路理论连通性模型中出现的大规模稀疏系统求解。
• 支持跨多个问题实例的并行执行，包括在多个 CPU 核心上对大型景观进行分块处理。
• 设计软件以支持单节点和多节点并行执行，确保在 Linux、macOS 和 Windows 平台上的兼容性。
• 与 Julia 的包管理器和生态系统集成，确保安装简便，并可与其他科学计算工具组合使用。
• 支持所有主要的 Circuitscape 使用场景，包括所有对一和所有对所有的连通性分析，具备完整的并行化能力。

实验结果

研究问题

• RQ1 在 Julia 中重实现 Circuitscape 是否能显著提升相较于现有 Python 和 MATLAB 版本的性能？
• RQ2 基于 Julia 的 Circuitscape 在问题规模增大时（特别是包含数亿个栅格单元的数据集）的性能表现如何？
• RQ3 Julia 中的并行化在多大程度上能减少复杂连通性建模任务（如所有对一分析）的执行时间？
• RQ4 新实现是否能支持对阻力图的快速敏感性分析，而此前由于计算时间过长而难以实现？
• RQ5 Julia 中高性能求解器与并行计算的集成在多大程度上提升了保护决策中的可用性和利益相关方参与度？

主要发现

• 基于 Julia 的 Circuitscape（即 Circuitscape.jl）相较于旧版本实现了最高达 1800% 的速度提升，显著加速了模型执行。
• 该软件成功扩展至包含最多 4.37 亿个栅格单元的问题，实现了对大陆尺度景观的高分辨率分析。
• 在索诺兰沙漠数据集上进行的所有对一连通性分析，旧版本耗时超过 2 天，而新并行化的 Julia 实现仅用时不到 3 小时，实现了 17.5 倍的速度提升。
• 新实现支持在多个分块和问题实例之间实现完全并行化，可在标准硬件上高效处理大型景观。
• Julia 高性能编译器和求解器集成的使用，使得阻力图的快速原型设计和迭代测试成为可能，从而实现了此前因速度过慢而不可行的敏感性分析。
• Circuitscape.jl 现已开源，并可通过 Julia 包管理器获取，同时提供适用于各操作系统的二进制文件，便于跨平台部署。