[论文解读] BEAT: An Open-Source Web-Based Open-Science Platform

André Anjos, Laurent El Shafey+1 more|arXiv (Cornell University)|Apr 7, 2017

Scientific Computing and Data Management参考文献 6被引用 7

一句话总结

BEAT 是一个开源的基于网络的平台，通过允许用户在不直接共享数据的情况下对敏感或大规模数据执行和评估算法，实现机器学习与模式识别研究的可复现性。它通过数据锁定的执行环境、容器化后端和工作流版本控制，支持安全、隐私保护的协作，使研究人员和机构能够在尊重法律和隐私限制的前提下，协同开发、测试和认证研究成果。

ABSTRACT

With the increased interest in computational sciences, machine learning (ML), pattern recognition (PR) and big data, governmental agencies, academia and manufacturers are overwhelmed by the constant influx of new algorithms and techniques promising improved performance, generalization and robustness. Sadly, result reproducibility is often an overlooked feature accompanying original research publications, competitions and benchmark evaluations. The main reasons behind such a gap arise from natural complications in research and development in this area: the distribution of data may be a sensitive issue; software frameworks are difficult to install and maintain; Test protocols may involve a potentially large set of intricate steps which are difficult to handle. Given the raising complexity of research challenges and the constant increase in data volume, the conditions for achieving reproducible research in the domain are also increasingly difficult to meet. To bridge this gap, we built an open platform for research in computational sciences related to pattern recognition and machine learning, to help on the development, reproducibility and certification of results obtained in the field. By making use of such a system, academic, governmental or industrial organizations enable users to easily and socially develop processing toolchains, re-use data, algorithms, workflows and compare results from distinct algorithms and/or parameterizations with minimal effort. This article presents such a platform and discusses some of its key features, uses and limitations. We overview a currently operational prototype and provide design insights.

研究动机与目标

• 通过提供一个安全、协作的平台，用于执行和评估算法，解决机器学习与模式识别研究中的可复现性危机。
• 使数据拥有者能够在不损害隐私或法律合规性的前提下，共享大规模或敏感的数据集（例如生物特征或医疗数据）。
• 通过抽象复杂的软件堆栈，降低研究人员的入门门槛，支持基于网络的处理流程开发与调试。
• 通过允许对数据和代码进行受控访问，同时保护知识产权并符合数据保护法律，支持跨机构协作。
• 通过在单一平台上实现软件、数据和结果的完整可追溯性、版本控制和可复现性，改进科学评审流程。

提出的方法

• 该平台采用基于网络的架构，配备模块化流水线系统，用户可定义由算法组件组成的处理工作流。
• 通过隔离的后端支持用户代码的安全执行，当前实现基于 Python，未来计划通过容器化支持 R、Julia 和 MATLAB 等其他语言的扩展。
• 数据不被分发；相反，用户通过受保护的、经过身份验证的接口访问数据，访问控制策略由数据拥有者定义。
• 系统支持工作流、结果和元数据的版本控制，实现完整的可复现性以及科学评估所需的审计追踪。
• 平台内建可视化和指标计算工具（分析器），用于评估算法性能，结果存储并共享于平台内部。
• 本地开发模式允许用户将 BEAT 实验导出并在本地机器上运行，但需手动安装数据和依赖项。

实验结果

研究问题

• RQ1 当数据规模大、敏感或受隐私法规约束时，如何实现机器学习与模式识别研究的可复现性？
• RQ2 哪些架构和关键技术模式能够实现在不共享原始数据的前提下安全、协作的算法开发？
• RQ3 基于网络的平台在多大程度上可以降低在多样化研究环境中部署和调试机器学习流水线的复杂性？
• RQ4 数据拥有者如何在允许外部研究人员评估和改进算法的同时，仍能保有对数据集的控制权？
• RQ5 当前开源科学平台在支持跨机构、隐私敏感的研究协作方面存在哪些关键局限？

主要发现

• BEAT 成功实现了在不分发数据的前提下，对敏感或大规模数据集的安全、可复现的机器学习与模式识别算法执行，有效解决了可复现性的主要障碍。
• 平台已实现一个包含超过 80,000 行代码的原型，主要使用 Python、JavaScript 和 HTML 编写，证明了全功能、生产就绪系统的可行性。
• 通过使用容器化后端，平台可扩展至 Python 以外的语言，未来计划支持 R、Julia 等语言，提升在科研社区中的可及性。
• 尽管功能强大，平台目前缺乏原生的多站点可扩展性，需在各机构间复制冗余数据，增加了成本并提高了不一致性的风险。
• 由于需手动安装本地软件堆栈，开发与调试仍具挑战性，表明亟需改进本地仿真或集成开发环境。
• 平台使工业界与学术界合作伙伴能够在受控条件下共同开发原型，数据锁定在机构内部，仅通过正式协议授予访问权限。