[論文レビュー] BEAT: An Open-Source Web-Based Open-Science Platform

André Anjos, Laurent El Shafey+1 more|arXiv (Cornell University)|Apr 7, 2017

Scientific Computing and Data Management参考文献 6被引用数 7

ひとこと要約

BEAT は、データを直接共有せずに、機械学習およびパターン認識分野における再現可能性のある研究を可能にするオープンソースでウェブベースのプラットフォームです。機密性の高いデータや大規模データに対して、ユーザーがアルゴリズムを実行・評価できるようにすることで、プライバシー保護とセキュリティを確保した共同作業を可能にします。データロックド実行環境、コンテナ化されたバックエンド、ワークフローのバージョン管理を活用し、研究者や機関が法律的・プライバシー的制約を尊重しながら、共同で結果を開発・テスト・認証できます。

ABSTRACT

With the increased interest in computational sciences, machine learning (ML), pattern recognition (PR) and big data, governmental agencies, academia and manufacturers are overwhelmed by the constant influx of new algorithms and techniques promising improved performance, generalization and robustness. Sadly, result reproducibility is often an overlooked feature accompanying original research publications, competitions and benchmark evaluations. The main reasons behind such a gap arise from natural complications in research and development in this area: the distribution of data may be a sensitive issue; software frameworks are difficult to install and maintain; Test protocols may involve a potentially large set of intricate steps which are difficult to handle. Given the raising complexity of research challenges and the constant increase in data volume, the conditions for achieving reproducible research in the domain are also increasingly difficult to meet. To bridge this gap, we built an open platform for research in computational sciences related to pattern recognition and machine learning, to help on the development, reproducibility and certification of results obtained in the field. By making use of such a system, academic, governmental or industrial organizations enable users to easily and socially develop processing toolchains, re-use data, algorithms, workflows and compare results from distinct algorithms and/or parameterizations with minimal effort. This article presents such a platform and discusses some of its key features, uses and limitations. We overview a currently operational prototype and provide design insights.

研究の動機と目的

• 機械学習およびパターン認識分野における再現性の欠如問題に取り組むために、アルゴリズムの実行と評価を安全に共同で行えるプラットフォームを提供すること。
• データ所有者が、バイオメトリクスや医療データなど大規模または機密性の高いデータセットを、プライバシーを損なわず、法的合致性を保ったまま共有できるようにすること。
• 複雑なソフトウェアスタックを抽象化することで、研究者の参入障壁を低減し、ウェブベースでの処理パイプラインの開発とデバッグを可能にすること。
• 複数の機関による共同作業を支援するため、データとコードへの制御されたアクセスを可能にしつつ、知的財産権とデータ保護法の遵守を維持すること。
• 科学的レビュープロセスの改善のため、ソフトウェア、データ、結果が単一のプラットフォーム内で完全に追跡可能で、バージョン管理され、再現可能であるようにすること。

提案手法

• ユーザーがアルゴリズムコンponentから構成される処理ワークフローを定義できる、モジュラーなパイプラインシステムを備えたウェブアーキテクチャを採用。
• 隔離されたバックエンドを介してユーザーコードのセキュアな実行を実現。現在の実装は Python に基づいているが、コンテナ化により今後 R、Julia、MATLAB などの他の言語への拡張が計画されている。
• データは配布されない。代わりに、データ所有者が定義したアクセス制御ポリシーに従い、認証済みインターフェースを通じて安全にアクセスされる。
• ワークフロー、結果、メタデータのバージョン管理をサポートし、科学的評価に適した完全な再現性と監査証跡を実現。
• アルゴリズムのパフォーマンスを評価するための組み込みの可視化およびメトリクス計算ツール（アナライザー）を備え、結果はプラットフォーム内に保存・共有される。
• ローカル開発モードにより、ユーザーが BEAT の実験を自らのマシンにエクスポートして実行可能だが、データおよび依存関係の手動インストールが必要となる。

実験結果

リサーチクエスチョン

• RQ1 データが大規模、機密的、またはプライバシー規制の対象である場合、機械学習およびパターン認識分野における再現可能性のある研究をどのように実現できるか？
• RQ2 生データを共有せずに、セキュアで共同可能なアルゴリズム開発を可能にするために、どのようなアーキテクチャ的・技術的設計パターンが必要か？
• RQ3 ウェブベースのプラットフォームは、多様な研究環境における機械学習パイプラインのデプロイおよびデバッグの複雑さをどの程度軽減できるか？
• RQ4 データ所有者が自身のデータセットに対する制御権を保ちつつ、外部の研究者がアルゴリズムの評価や改善を可能にするにはどうすればよいか？
• RQ5 現在のオープンサイエンスプラットフォームは、多機関にまたがるプライバシー配慮型の共同研究に、どのような主な制限を抱えているか？

主な発見

• BEAT は、データを配布せずに、機密性の高いデータや大規模データセット上で機械学習およびパターン認識アルゴリズムのセキュアで再現可能な実行を実現し、再現性の主要な障壁を克服した。
• プラットフォームは、主に Python、JavaScript、HTML で構成される 80,000 行を超えるプロトタイプコードを備えており、包括的で生産環境対応のシステムの実現可能性を示している。
• コンテナ化されたバックエンドの活用により、Python を超える拡張性が可能であり、今後 R、Julia およびその他の言語への対応が計画されており、研究コミュニティ全体へのアクセス性が向上する。
• 実装の可能性にもかかわらず、現在のところネイティブなマルチサイトスケーラビリティを備えておらず、複数の機関間でデータの重複コピーを必要としており、コスト増加と一貫性の欠如リスクを伴う。
• 開発とデバッグは依然として困難であり、ローカルソフトウェアスタックの手動インストールが必要なため、より優れたローカルエミュレーションまたは統合開発環境の導入が求められる。
• プラットフォームは、データを機関の施設内にロックした状態で、正式な合意に基づきアクセスを許可することで、産業界と学術界の共同でのプロトタイプ開発を可能にしている。