[논문 리뷰] Gradio: Hassle-Free Sharing and Testing of ML Models in the Wild

Abubakar Abid, Ali Abdalla외 4명|arXiv (Cornell University)|2019. 06. 06.

Scientific Computing and Data Management참고 문헌 8인용 수 113

한 줄 요약

Gradio는 연구자들이 ML 모델을 시각적 웹 인터페이스로 빠르게 래핑하고 공개 링크를 통해 공유하여 실세계 환경에서 인터랙티브 테스트와 피드백을 받을 수 있게 하는 오픈 소스 Python 패키지입니다.

ABSTRACT

Accessibility is a major challenge of machine learning (ML). Typical ML models are built by specialists and require specialized hardware/software as well as ML experience to validate. This makes it challenging for non-technical collaborators and endpoint users (e.g. physicians) to easily provide feedback on model development and to gain trust in ML. The accessibility challenge also makes collaboration more difficult and limits the ML researcher's exposure to realistic data and scenarios that occur in the wild. To improve accessibility and facilitate collaboration, we developed an open-source Python package, Gradio, which allows researchers to rapidly generate a visual interface for their ML models. Gradio makes accessing any ML model as easy as sharing a URL. Our development of Gradio is informed by interviews with a number of machine learning researchers who participate in interdisciplinary collaborations. Their feedback identified that Gradio should support a variety of interfaces and frameworks, allow for easy sharing of the interface, allow for input manipulation and interactive inference by the domain expert, as well as allow embedding the interface in iPython notebooks. We developed these features and carried out a case study to understand Gradio's usefulness and usability in the setting of a machine learning collaboration between a researcher and a cardiologist.

연구 동기 및 목표

• 도메인 전문가와의 ML 모델 개발에서 접근성 및 협업의 장벽을 식별한다.
• 다양한 모델 유형과 데이터 모달리티에 대해 인터랙티브 인터페이스 생성을 단순화하는 오픈 소스 도구를 개발한다.
• 비전문가 협력자들의 안전한 공유와 실시간 피드백을 촉진한다.
• 심장학 협력 연구에서 파일럿 연구를 통해 사용성 및 유용성을 평가한다.

제안 방법

• 이미지, 텍스트, 오디오 입력/출력을 위한 인터페이스를 갖춘 Python 라이브러리로 Gradio를 구현한다.
• 입력/출력 타입, 모델 타입, 모델을 명시하고 선택적 전처리/후처리를 포함하는 Interface 객체를 제공한다.
• 브라우저에서의 실행, 노트북 내 인라인 실행, SSH 터널링 연결을 통한 선택적 공개 공유 링크를 가능하게 한다.
• 입력 조작(예: 자르기, 가리기) 및 추론을 위한 호스트로의 보안 데이터 전송을 허용한다.
• 협력자가 모델 호스트로 보낸 플래그 지정 메커니즘 및 메시지를 통해 피드백을 수집한다.

실험 결과

연구 질문

• RQ1 연구자들은 Gradio를 사용하건 사용하지 않건 데이터와 모델을 어떻게 공유하나요?
• RQ2 개발자와 협력자가 Gradio의 어떤 기능을 가장 많이 사용하고 가장 적게 사용하나요?
• RQ3 협력자들은 Gradio 인터페이스를 통해 어떤 유형의 모델 피드백을 제공하나요?
• RQ4 개발자와 협력자들이 Gradio에 추가로 요청하는 기능은 무엇인가요?

주요 결과

• Gradio는 협력자들이 소프트웨어를 설치하지 않고 공유 가능한 링크와 클라이언트 측 브라우저 상호 작용을 통해 모델과 상호 작용할 수 있게 한다.
• 파일럿 연구에서 심장 전문의는 초음파 영상의 일부를 가리거나 차단하여 모델 응답의 강건성을 테스트하고 기록했다.
• 문헌에 인용된 워크플로에서 Gradio의 설정 및 배포에는 약 10분이 소요되었고, 이후 협력자들이 실시간으로 모델을 테스트할 수 있었다.
• 협력자들은 목표 피드백을 제공하기 위해 입력 조작과 잘못된 출력의 플래그 지정을 자주 사용했다.
• 사용자들은 내장된 iPython 노트북 임베딩이나 명시적 공유 버튼을 거의 활용하지 않고 직접 URL 공유를 선호했다.