[论文解读] Gradio: Hassle-Free Sharing and Testing of ML Models in the Wild

Abubakar Abid, Ali Abdalla+4 more|arXiv (Cornell University)|Jun 6, 2019

Scientific Computing and Data Management参考文献 8被引用 113

一句话总结

Gradio 是一个开源的 Python 包，允许研究人员快速将 ML 模型封装到可视化网页界面中，并通过公开链接分享，以在真实世界环境中进行交互测试和反馈。

ABSTRACT

Accessibility is a major challenge of machine learning (ML). Typical ML models are built by specialists and require specialized hardware/software as well as ML experience to validate. This makes it challenging for non-technical collaborators and endpoint users (e.g. physicians) to easily provide feedback on model development and to gain trust in ML. The accessibility challenge also makes collaboration more difficult and limits the ML researcher's exposure to realistic data and scenarios that occur in the wild. To improve accessibility and facilitate collaboration, we developed an open-source Python package, Gradio, which allows researchers to rapidly generate a visual interface for their ML models. Gradio makes accessing any ML model as easy as sharing a URL. Our development of Gradio is informed by interviews with a number of machine learning researchers who participate in interdisciplinary collaborations. Their feedback identified that Gradio should support a variety of interfaces and frameworks, allow for easy sharing of the interface, allow for input manipulation and interactive inference by the domain expert, as well as allow embedding the interface in iPython notebooks. We developed these features and carried out a case study to understand Gradio's usefulness and usability in the setting of a machine learning collaboration between a researcher and a cardiologist.

研究动机与目标

• 识别在与领域专家共同开展 ML 模型开发中提高可访问性和协作性的障碍。
• 开发一个开源工具，简化为各种模型类型和数据模态创建交互界面的过程。
• 促进来自非技术协作者的安全分享和实时反馈。
• 通过心脏病学协作中的先导研究评估可用性和有用性。

提出的方法

• 将 Gradio 实现为一个 Python 库，提供图像、文本和音频输入/输出的界面。
• 提供一个 Interface 对象，指定输入/输出类型、模型类型和模型，可选的前处理/后处理。
• 启用在浏览器中启动、在笔记本中内联，以及通过 SSH 隧道连接的可选公开分享链接。
• 允许输入的处理（例如裁剪、遮挡）以及将数据安全传输到主机进行推断。
• 通过标记机制捕获反馈，以及由协作者发送给模型主机的消息。

实验结果

研究问题

• RQ1 研究人员如何在有无 Gradio 的情况下分享数据和模型？
• RQ2 Gradio 的哪些功能被开发者和协作者使用最频繁，哪些最不常用？
• RQ3 协作者通过 Gradio 界面提供的是哪种类型的模型反馈？
• RQ4 开发者和协作者对 Gradio 还希望新增哪些功能？

主要发现

• Gradio 通过可分享的链接和客户端浏览器交互使协作者在无需安装软件的情况下与模型交互。
• 在先导研究中，心脏病专家通过遮挡超声图像的一部分并记录模型回应来测试鲁棒性。
• 在所引工作流中，Gradio 的安装和部署大约花费 10 分钟，之后协作者可以实时测试模型。
• 协作者经常使用输入操作和对不正确输出的标记来提供有针对性的反馈。
• 用户很少利用内置的 iPython 笔记本嵌入或显式分享按钮，更偏好直接分享 URL。