[論文レビュー] Evaluation-as-a-Service: Overview and Outlook

Allan Hanbury, Henning Müller+12 more|arXiv (Cornell University)|Dec 23, 2015

Machine Learning and Data Classification参考文献 41被引用数 24

ひとこと要約

この論文は、従来のデータ配布モデルから、集中型のAPIまたは仮想マシン（VM）ベースの評価インfraストラクチャへのパラダイムシフトを示す評価のサービス化（EaaS）を紹介する。これにより、再現性が向上し、機密データの安全な取り扱いが可能になり、リアルタイムまたは大規模なデータ課題に対応できる。主な貢献は、既存のEaaSイニシャチブの包括的分析、その利点、およびデータサイエンスおよび情報検索分野における持続可能で協働的な研究インfraストラクチャのビジョンである。

ABSTRACT

Evaluation in empirical computer science is essential to show progress and assess technologies developed. Several research domains such as information retrieval have long relied on systematic evaluation to measure progress: here, the Cranfield paradigm of creating shared test collections, defining search tasks, and collecting ground truth for these tasks has persisted up until now. In recent years, however, several new challenges have emerged that do not fit this paradigm very well: extremely large data sets, confidential data sets as found in the medical domain, and rapidly changing data sets as often encountered in industry. Also, crowdsourcing has changed the way that industry approaches problem-solving with companies now organizing challenges and handing out monetary awards to incentivize people to work on their challenges, particularly in the field of machine learning. This white paper is based on discussions at a workshop on Evaluation-as-a-Service (EaaS). EaaS is the paradigm of not providing data sets to participants and have them work on the data locally, but keeping the data central and allowing access via Application Programming Interfaces (API), Virtual Machines (VM) or other possibilities to ship executables. The objective of this white paper are to summarize and compare the current approaches and consolidate the experiences of these approaches to outline the next steps of EaaS, particularly towards sustainable research infrastructures. This white paper summarizes several existing approaches to EaaS and analyzes their usage scenarios and also the advantages and disadvantages. The many factors influencing EaaS are overviewed, and the environment in terms of motivations for the various stakeholders, from funding agencies to challenge organizers, researchers and participants, to industry interested in supplying real-world problems for which they require solutions.

研究の動機と目的

• データ配布リスク、再現性の欠如、機密または急速に変化するデータの課題といった、従来の共有タスク評価の限界を是正する。
• 中央集権的でバージョン管理されたデータとコードを通じて、引用可能で実行可能な評価を可能にすることで、研究における再現性の危機を克服する。
• EaaSを公共・民間パートナーシップに統合することで、持続可能な研究インfraストラクチャを支援し、オープンイノベーションと人材発掘を促進する。
• 研究者、産業界、資金提供機関間の協力を促進するため、共通のプラットフォームを提供し、共有でセキュアなデータ上でアルゴリズムの評価と比較を可能にする。
• 継続的評価、コンponentレベルのベンチマーク、新規データに対する自動ベースライン生成を可能にすることで、科学的進歩を推進する。

提案手法

• テストデータを中央に保有し、参加者がアルゴリズムまたは実行可能コードのみをリモート実行用に提出する、アルゴリズムからデータへのパラダイムを採用する。
• アプリケーションプログラミングインターフェース（API）、仮想マシン（VM）、またはコンテナ化環境を活用し、参加者コードのセキュアな分離と中央インフラ上の実行を実現する。
• TIRA、CodaLab、OpenML、VISCERALレジストレーションシステムなどのEaaS管理システムを導入し、提出、実行、評価ワークフローを管理する。
• 直接的なデータアクセスを制限し、参加者に広範な使用条件（オープンソースコード共有を含む）に同意を求めるなどして、データプライバシーとコンプライアンスを確保する。
• クラウドおよび科学的コンピューティングインfraストラクチャと統合し、静的配布に適さない大規模、リアルタイム、または変化し続けるデータセットをサポートする。
• 参加契約、法的枠組み、公共・民間資金を活用してガバナンスと持続可能性モデルを確立し、長期的な健全性を保証する。

実験結果

リサーチクエスチョン

• RQ1 評価のサービス化（EaaS）は、データサイエンスおよび情報検索分野における実証的研究の再現性と信頼性をどのように向上させるか？
• RQ2 機密または動的データ向けの持続可能なEaaSインfraストラクチャを構築するにあたり、技術的、組織的、法的課題は何か？
• RQ3 EaaSは、産業界および研究機関におけるオープンイノベーションと人材発掘をどのように支援できるか？
• RQ4 スケーラビリティ、使いやすさ、コンponentレベル評価のサポートという観点から、既存のEaaSイニシャチブはどのように比較できるか？
• RQ5 EaaSプラットフォームの長期的持続可能性を保証するのに最も効果的なガバナンスおよび資金調達モデルは何か？

主な発見

• EaaSは、データと実行可能ツールを中央に集約することで、再現可能な研究を可能にし、研究間で結果を引用・再実行・比較できる。
• EaaSモデルは、医療分野における機密データの評価を安全に可能にする。直接的なデータアクセスを防ぎ、アルゴリズムのみを提出することで実現する。
• TRECマイクロブログ、BioASQ、CLEFリービングラボ、CodaLabといった既存のEaaSイニシャチブは、実世界での成功した展開を示しており、イノベーションと協働に明確な影響を与えている。
• TIRAやOpenMLのようなEaaSプラットフォームは、自動的かつスケーラブルな評価ワークフローを可能にし、人的作業の負荷を軽減し、提出物間の一貫性を高めている。
• データからアルゴリズムへのパラダイムシフトは、コンponentレベル評価を強化し、孤立したコンペティションを超えた継続的ベンチマークを可能にする。
• 公共・民間パートナーシップを通じて、イノベーションのオープン性と機械学習・データサイエンス分野の優れた人材へのアクセスを実現することで、EaaSの持続可能性は達成可能である。