[논문 리뷰] ImJoy: an open-source computational platform for the deep learning era

Wei Ouyang, Florian Mueller외 3명|arXiv (Cornell University)|2019. 05. 30.

Cell Image Analysis Techniques참고 문헌 18인용 수 7

한 줄 요약

ImJoy는 생물의학 연구 분야에서 딥러닝 도구에의 접근성을 민주화하기 위해 설계된 오픈소스이자 브라우저 기반의 계산 플랫폼입니다. 이 플랫폼은 로컬 설치나 전문 지식 없이도 딥러닝 플러그인을 원활하게 배포하고 공유할 수 있도록 하여 실시간으로 상호작용하는 이미지 및 게놈 분석을 가능하게 합니다.

ABSTRACT

Deep learning methods have shown extraordinary potential for analyzing very diverse biomedical data, but their dissemination beyond developers is hindered by important computational hurdles. We introduce ImJoy (https://imjoy.io/), a flexible and open-source browser-based platform designed to facilitate widespread reuse of deep learning solutions in biomedical research. We highlight ImJoy's main features and illustrate its functionalities with deep learning plugins for mobile and interactive image analysis and genomics.

연구 동기 및 목표

• 전문 개발자 외의 연구자들이 딥러닝 솔루션을 접근하고 재사용하기 어려운 문제를 해결하기 위해.
• 생명과학 분야에서 딥러닝의 광범위한 도입을 저해하는 계산 및 배포 장벽을 극복하기 위해.
• 프로그래밍 전문 지식이 없는 연구자들이 사용자 친화적 인터페이스를 통해 딥러닝 모델을 사용하고 공유하며 확장할 수 있도록 하기 위해.
• 현미경 영상 및 게놈 서열과 같은 복잡한 생물의학 데이터의 실시간, 상호작용형 분석을 가능하게 하기 위해.
• 다양한 분야에서 활용 가능한 모듈식이고 확장 가능한 프레임워크를 구축하여 다양한 딥러닝 플러그인의 통합을 지원하기 위해.

제안 방법

• 사용자의 웹 브라우저에서 완전히 실행되는 브라우저 기반 플랫폼을 설계하여 로컬 소프트웨어 설치가 필요 없도록 하기 위해.
• 개발자가 딥러닝 모델을 재사용 가능하고 상호작용 가능한 구성 요소로 封장할 수 있도록 플러그인 아키텍처를 구현하기 위해.
• 경량적이고 선언적인 구성 방식을 통해 이미지 및 게놈 분석을 위한 사전 학습된 모델 통합을 지원하기 위해.
• HTML, JavaScript, WebAssembly 등의 웹 기술을 활용하여 크로스 플랫폼 호환성과 성능을 확보하기 위해.
• 브라우저 인터페이스 내에서 딥러닝 예측의 실시간 추론 및 시각화를 가능하게 하기 위해.
• 공개 저장소와 웹 링크를 통한 플러그인의 버전 관리, 공유 및 배포를 지원하는 도구 제공하기 위해.

실험 결과

연구 질문

• RQ1 비전문가 생물의학 연구자들이 딥러닝 모델을 어떻게 접근하고 사용할 수 있을까?
• RQ2 브라우저 환경에서 딥러닝 모델을 효율적이고 상호작용적이며 안전하게 배포하기 위한 아키텍처 패턴은 무엇인가?
• RQ3 모듈식 플러그인 시스템이 세포 분할 및 변이 호출과 같은 다양한 생물의학 적용 분야를 지원할 수 있는가?
• RQ4 생명과학 분야에서 딥러닝 도구의 상호운용성과 재현 가능성을 어떻게 향상시킬 수 있는가?
• RQ5 브라우저 기반 플랫폼이 딥러닝 도입에 대한 계산 및 기술적 장벽을 어느 정도 감소시킬 수 있는가?

주요 결과

• ImJoy는 웹 브라우저 내에서 직접 실시간으로 상호작용 가능한 딥러닝 추론을 이미지 및 게놈 데이터에 대해 성공적으로 구현합니다.
• 플랫폼은 로컬 설정 없이도 복잡한 딥러닝 모델을 재사용 가능하고 공유 가능한 플러그인으로 배포할 수 있도록 지원합니다.
• 사용자는 간단한 웹 링크를 통해 딥러닝 도구에 접근하고 실행할 수 있어 비개발자들이 접근하는 데 있어 장벽을 크게 낮춥니다.
• 플러그인 아키텍처는 세포 분할 및 변이 호출 등의 다양한 모델을 모듈식으로 통합할 수 있도록 합니다.
• ImJoy는 버전 관리, 공유, 커뮤니티 기반 확장 기능을 지원하여 실제 생물의학 워크플로우에서의 실현 가능성과 사용성의 가능성을 입증합니다.
• 현대 웹 표준과 WebAssembly를 활용하여 일반 웹 브라우저에서도 높은 성능과 반응성으로 작동합니다.