[논문 리뷰] BEAT: An Open-Source Web-Based Open-Science Platform

André Anjos, Laurent El Shafey외 1명|arXiv (Cornell University)|2017. 04. 07.

Scientific Computing and Data Management참고 문헌 6인용 수 7

한 줄 요약

BEAT는 민감하거나 대규모 데이터를 직접 공유하지 않고도 알고리즘을 실행하고 평가할 수 있도록 해주는 오픈소스 웹 기반 플랫폼입니다. 데이터 잠금 실행 환경, 컨테이너 기반 백엔드, 워크플로우 버전 관리 기능을 통해 기밀 보장된 협업을 지원하며, 연구자와 기관이 법적 및 개인정보 보호 제약을 준수하면서도 공동으로 결과를 개발·시험·인증할 수 있도록 합니다.

ABSTRACT

With the increased interest in computational sciences, machine learning (ML), pattern recognition (PR) and big data, governmental agencies, academia and manufacturers are overwhelmed by the constant influx of new algorithms and techniques promising improved performance, generalization and robustness. Sadly, result reproducibility is often an overlooked feature accompanying original research publications, competitions and benchmark evaluations. The main reasons behind such a gap arise from natural complications in research and development in this area: the distribution of data may be a sensitive issue; software frameworks are difficult to install and maintain; Test protocols may involve a potentially large set of intricate steps which are difficult to handle. Given the raising complexity of research challenges and the constant increase in data volume, the conditions for achieving reproducible research in the domain are also increasingly difficult to meet. To bridge this gap, we built an open platform for research in computational sciences related to pattern recognition and machine learning, to help on the development, reproducibility and certification of results obtained in the field. By making use of such a system, academic, governmental or industrial organizations enable users to easily and socially develop processing toolchains, re-use data, algorithms, workflows and compare results from distinct algorithms and/or parameterizations with minimal effort. This article presents such a platform and discusses some of its key features, uses and limitations. We overview a currently operational prototype and provide design insights.

연구 동기 및 목표

• 연구의 재현성 위기를 해결하기 위해, 알고리즘을 실행하고 평가할 수 있는 보안적이고 협업 가능한 플랫폼을 제공함으로써 기계학습 및 패턴 인식 연구 분야에서의 재현 가능성을 향상시키는 것.
• 데이터 소유자가 생체정보나 의료 데이터와 같은 대규모 또는 민감한 데이터셋을 공유하면서도 개인정보 유출이나 법적 위반을 방지할 수 있도록 지원하는 것.
• 복잡한 소프트웨어 스택을 추상화하여 연구자들이 접근 장벽을 낮추고 웹 기반으로 처리 파이프라인을 개발하고 디버깅할 수 있도록 돕는 것.
• 기관 간 협업을 지원하기 위해 데이터 및 코드에 대한 제한된 접근을 허용하면서도 지적 재산권과 데이터 보호법 준수를 유지할 수 있도록 하는 것.
• 소프트웨어, 데이터, 결과물이 하나의 플랫폼 내에서 완전히 추적 가능하고, 버전 관리되며 재현 가능한 방식으로 과학적 심사 과정을 향상시키는 것.

제안 방법

• 플랫폼은 사용자가 알고리즘 구성 요소로 구성된 처리 워크플로우를 정의할 수 있는 모듈식 파이프라인 시스템을 갖춘 웹 기반 아키텍처를 사용합니다.
• 현재 파이썬 기반으로 구현된 격리된 백엔드를 통해 사용자 코드의 보안 실행을 지원하며, 향후 컨테이너 기반 기술을 활용해 R, 줄리아, MATLAB 등의 다른 프로그래밍 언어로의 확장성이 계획되어 있습니다.
• 데이터는 분산되지 않으며, 데이터 소유자가 정의한 액세스 제어 정책을 강제하는 보안적이고 인증된 인터페이스를 통해 액세스됩니다.
• 워크플로우, 결과물, 메타데이터의 버전 관리를 지원하여 과학적 평가를 위한 완전한 재현 가능성과 감사 흐름을 보장합니다.
• 알고리즘 성능 평가를 위한 내장된 시각화 및 메트릭 계산 도구(분석기)를 제공하며, 결과는 플랫폼 내부에서 저장 및 공유됩니다.
• 로컬 개발 모드를 통해 사용자가 BEAT 실험을 자신의 기기에서 내보내고 실행할 수 있지만, 데이터 및 종속성 설치를 수동으로 수행해야 합니다.

실험 결과

연구 질문

• RQ1 대규모이거나 민감하거나 개인정보 보호 규정에 따라 제약을 받는 데이터가 있는 상황에서 기계학습 및 패턴 인식 연구의 재현 가능성을 어떻게 달성할 수 있는가?
• RQ2 원시 데이터를 공유하지 않으면서도 보안적이고 협업 가능한 알고리즘 개발을 가능하게 하는 아키텍처적 및 기술적 설계 패턴은 무엇인가?
• RQ3 웹 기반 플랫폼은 다양한 연구 환경에서 머신러닝 파이프라인의 배포 및 디버깅 복잡성을 얼마나 줄일 수 있는가?
• RQ4 데이터 소유자가 자신의 데이터셋에 대한 통제권을 유지하면서도 외부 연구자가 알고리즘을 평가하고 개선할 수 있도록 할 수 있는 방법은 무엇인가?
• RQ5 현재의 오픈사이언스 플랫폼은 다기관 협업 및 개인정보 친화적인 연구 협업을 지원하는 데에서 어떤 핵심적 한계를 지니고 있는가?

주요 결과

• BEAT는 데이터를 배포하지 않고도 민감하거나 대규모 데이터셋에서 머신러닝 및 패턴 인식 알고리즘을 보안적으로 재현 가능한 방식으로 실행할 수 있도록 함으로써, 재현 가능성의 주요 장벽을 해결했습니다.
• 플랫폼은 파이썬, 자바스크립트, HTML 기반으로 약 80,000 행이 넘는 코드로 구성된 프로토타입을 지원하며, 기능이 풍부하고 프로덕션 수준의 시스템으로서의 실현 가능성을 입증했습니다.
• 컨테이너 기반 백엔드의 사용은 파이썬 외에도 R, 줄리아 등 다른 언어로의 확장성을 가능하게 하며, 연구 커뮤니티 전반의 접근성 향상에 기여합니다.
• 기능적으로는 우수하지만, 현재 플랫폼은 다중 사이트 확장성 기능이 내장되어 있지 않아 기관 간 중복 데이터 복제가 필요하여 비용 증가 및 일관성 손상 위험이 증가합니다.
• 로컬 소프트웨어 스택 수동 설치가 필요하기 때문에 개발 및 디버깅이 여전히 어려운 상황이며, 향후 개선된 로컬 에뮬레이션 또는 통합 개발 환경이 필요로 합니다.
• 플랫폼은 산업계 및 학계 파트너가 통제된 조건에서 프로토타입을 공동 개발할 수 있도록 지원하며, 데이터는 기관 내부에 잠금되어 있고 접근은 공식 계약을 통해만 허용됩니다.