[论文解读] ImJoy: an open-source computational platform for the deep learning era

Wei Ouyang, Florian Mueller+3 more|arXiv (Cornell University)|May 30, 2019

Cell Image Analysis Techniques参考文献 18被引用 7

一句话总结

ImJoy 是一个开源的、基于浏览器的计算平台，旨在使生物医学研究中的深度学习工具更易于获取。它可实现深度学习插件的无缝部署与共享，支持交互式、实时的图像和基因组分析，且无需本地安装或专业技能。

ABSTRACT

Deep learning methods have shown extraordinary potential for analyzing very diverse biomedical data, but their dissemination beyond developers is hindered by important computational hurdles. We introduce ImJoy (https://imjoy.io/), a flexible and open-source browser-based platform designed to facilitate widespread reuse of deep learning solutions in biomedical research. We highlight ImJoy's main features and illustrate its functionalities with deep learning plugins for mobile and interactive image analysis and genomics.

研究动机与目标

• 解决生物医学研究中深度学习解决方案在专家开发者之外难以访问和重用的问题。
• 克服阻碍深度学习在生命科学领域广泛应用的计算与部署障碍。
• 使不具备编程技能的研究人员也能通过用户友好的界面使用、共享和扩展深度学习模型。
• 实现对复杂生物医学数据（如显微镜图像和基因组序列）的实时、交互式分析。
• 构建一个模块化、可扩展的框架，支持在不同领域中集成多种深度学习插件。

提出的方法

• 设计一个完全在用户网页浏览器中运行的基于浏览器的平台，消除对本地软件安装的需求。
• 实现一种插件架构，使开发者能够将深度学习模型封装为可重用的交互式组件。
• 通过轻量级、声明式配置支持图像和基因组分析的预训练模型集成。
• 利用网页技术（HTML、JavaScript、WebAssembly）确保跨平台兼容性和性能。
• 在浏览器界面中直接实现实时推理与深度学习预测的可视化。
• 提供版本控制、插件共享与部署工具，通过公共代码仓库和网页链接实现。

实验结果

研究问题

• RQ1 如何使非专业生物医学研究人员能够访问并使用深度学习模型？
• RQ2 哪些架构模式能够实现在浏览器环境中高效、交互式且安全的深度学习模型部署？
• RQ3 模块化插件系统是否能够支持图像和基因组分析等多样化的生物医学应用？
• RQ4 如何在生命科学领域增强深度学习工具的互操作性与可重现性？
• RQ5 基于浏览器的平台在多大程度上能够降低深度学习采用的计算与技术门槛？

主要发现

• ImJoy 成功实现了在网页浏览器中直接进行图像和基因组数据的交互式、实时深度学习推理。
• 该平台支持将复杂的深度学习模型作为可重用、可共享的插件进行部署，而无需本地配置。
• 用户可通过简单的网页链接访问并运行深度学习工具，显著降低了非开发人员的使用门槛。
• 插件架构支持多种模型的模块化集成，包括细胞分割和变异检测等模型。
• ImJoy 在实际生物医学工作流程中展现出可行性与可用性，支持版本管理、共享与社区扩展。
• 平台即使在标准网页浏览器中也能实现高性能与高响应速度，得益于现代网页标准与 WebAssembly 的应用。