[论文解读] Evaluation-as-a-Service: Overview and Outlook

Allan Hanbury, Henning Müller+12 more|arXiv (Cornell University)|Dec 23, 2015

Machine Learning and Data Classification参考文献 41被引用 24

一句话总结

本文提出了評估即服務（Evaluation-as-a-Service, EaaS）這一新範式，從傳統的資料分發模式轉向集中式、基於 API 或虛擬機器（VM）的評估基礎設施，從而提升可重現性，支援敏感資料的安全處理，並應對即時或大規模資料挑戰。主要貢獻在於對現有 EaaS 举措的全面分析，其優勢，以及在資料科學與資訊檢索領域建立可持續、協作型研究基礎設施的願景。

ABSTRACT

Evaluation in empirical computer science is essential to show progress and assess technologies developed. Several research domains such as information retrieval have long relied on systematic evaluation to measure progress: here, the Cranfield paradigm of creating shared test collections, defining search tasks, and collecting ground truth for these tasks has persisted up until now. In recent years, however, several new challenges have emerged that do not fit this paradigm very well: extremely large data sets, confidential data sets as found in the medical domain, and rapidly changing data sets as often encountered in industry. Also, crowdsourcing has changed the way that industry approaches problem-solving with companies now organizing challenges and handing out monetary awards to incentivize people to work on their challenges, particularly in the field of machine learning. This white paper is based on discussions at a workshop on Evaluation-as-a-Service (EaaS). EaaS is the paradigm of not providing data sets to participants and have them work on the data locally, but keeping the data central and allowing access via Application Programming Interfaces (API), Virtual Machines (VM) or other possibilities to ship executables. The objective of this white paper are to summarize and compare the current approaches and consolidate the experiences of these approaches to outline the next steps of EaaS, particularly towards sustainable research infrastructures. This white paper summarizes several existing approaches to EaaS and analyzes their usage scenarios and also the advantages and disadvantages. The many factors influencing EaaS are overviewed, and the environment in terms of motivations for the various stakeholders, from funding agencies to challenge organizers, researchers and participants, to industry interested in supplying real-world problems for which they require solutions.

研究动机与目标

• 解決傳統共用任務評估的限制，例如資料分發風險、缺乏可重現性，以及面對機密或快速變化的資料時的挑戰。
• 透過集中化、版本控制的資料與程式碼，實現可引用、可執行的評估，以克服研究中的可重現性危機。
• 透過整合 EaaS 至公私合作關係，促進開放創新與人才發掘，支援可持續的研究基礎設施。
• 透過提供共用、安全的資料平台，促進研究人員、產業界與資助機構之間的協作，以評估與比較演算法。
• 透過持續評估、組件級基準測試與新資料上的自動化基線生成，推動科學進展。

提出的方法

• 採用「演算法至資料」的範式，即測試資料集中儲存，參與者僅提交其演算法或可執行檔以進行遠端執行。
• 利用應用程式介面（API）、虛擬機器（VM）或容器化環境，在中央基礎設施上安全隔離並執行參與者程式碼。
• 實施 EaaS 管理系統，如 TIRA、CodaLab、OpenML 與 VISCERAL 登記系統，以處理提交、執行與評估工作流程。
• 透過限制直接存取資料並要求參與者同意廣泛的使用條款（包括開放原始碼程式碼共享），確保資料隱私與合規性。
• 整合雲端與科學計算基礎設施，以支援不適合靜態分發的大規模、即時或動態變化的資料集。
• 透過參與協議、法律架構與公私資助，建立治理與可持續性模式，確保長期可行性。

实验结果

研究问题

• RQ1 評估即服務（EaaS）如何提升資料科學與資訊檢索領域中實證研究的可重現性與信任度？
• RQ2 在建立針對敏感或動態資料的可持續 EaaS 基礎設施時，面臨的技術、組織與法律挑戰為何？
• RQ3 EaaS 在何種方式下可支援產業與研究機構的開放創新與人才發掘？
• RQ4 現有的 EaaS 措施在可擴展性、易用性與組件級評估支援方面如何比較？
• RQ5 何種治理與資助模式最有效於確保 EaaS 平臺的長期可持續性？

主要发现

• EaaS 透過集中化資料與可執行工具，實現可重現的研究，使結果可被引用、重複執行與跨研究比較。
• EaaS 模型透過防止直接存取資料，支援對機密資料（如醫療資料）的安全評估，僅提交演算法。
• 現有的 EaaS 措施如 TREC Microblog、BioASQ、CLEF Living Labs 與 CodaLab 已成功實現現實世界部署，對創新與協作產生可衡量的影響。
• EaaS 平臺如 TIRA 與 OpenML 支援自動化、可擴展的評估工作流程，減少人工負擔並提升提交結果的一致性。
• 從「資料至演算法」到「演算法至資料」的範式轉變，促進組件級評估，並支援超越單一競賽的持續基準測試。
• 透過公私合作，可實現可持續性，投資回報來自開放創新與對機器學習與資料科學頂尖人才的接觸。