[論文レビュー] Gradio: Hassle-Free Sharing and Testing of ML Models in the Wild

Abubakar Abid, Ali Abdalla+4 more|arXiv (Cornell University)|Jun 6, 2019

Scientific Computing and Data Management参考文献 8被引用数 113

ひとこと要約

Gradioは、研究者がMLモデルを視覚的なウェブインターフェースで迅速にラップし、実世界の設定で対話的なテストとフィードバックを得るために公開リンク経由で共有できるオープンソースのPythonパッケージです。

ABSTRACT

Accessibility is a major challenge of machine learning (ML). Typical ML models are built by specialists and require specialized hardware/software as well as ML experience to validate. This makes it challenging for non-technical collaborators and endpoint users (e.g. physicians) to easily provide feedback on model development and to gain trust in ML. The accessibility challenge also makes collaboration more difficult and limits the ML researcher's exposure to realistic data and scenarios that occur in the wild. To improve accessibility and facilitate collaboration, we developed an open-source Python package, Gradio, which allows researchers to rapidly generate a visual interface for their ML models. Gradio makes accessing any ML model as easy as sharing a URL. Our development of Gradio is informed by interviews with a number of machine learning researchers who participate in interdisciplinary collaborations. Their feedback identified that Gradio should support a variety of interfaces and frameworks, allow for easy sharing of the interface, allow for input manipulation and interactive inference by the domain expert, as well as allow embedding the interface in iPython notebooks. We developed these features and carried out a case study to understand Gradio's usefulness and usability in the setting of a machine learning collaboration between a researcher and a cardiologist.

研究の動機と目的

• MLモデル開発におけるアクセシビリティと専門家との協働の障壁を特定する。
• さまざまなモデルタイプとデータモダリティの対話型インターフェースの作成を容易にするオープンソースツールを開発する。
• 非技術的な協働者からの安全な共有とリアルタイムのフィードバックを促進する。
• 心臓病学の共同研究におけるパイロット研究を通じて使いやすさと有用性を評価する。

提案手法

• 画像、テキスト、音声の入力/出力に対応するインターフェースを備えたPythonライブラリとしてGradioを実装する。
• 入力/出力タイプ、モデルタイプ、およびモデルを指定し、オプションの前処理/後処理を含むInterfaceオブジェクトを提供する。
• ブラウザでの起動、ノートブックへのインライン表示、SSHトンネリング接続を介したオプションの公開共有リンクを有効にする。
• 入力の操作（例：クロップ、遮蔽）を許可し、推論のためのホストへのデータ伝送を安全に行う。
• フラグ付け機構と協働者からモデルホストへ送られるメッセージを通じてフィードバックを取得する。

実験結果

リサーチクエスチョン

• RQ1 研究者はGradioあり/なしでデータとモデルをどのように共有するか？
• RQ2 開発者と協働者によってGradioのどの機能が最もよく使われ、どの機能が最も使われていないか？
• RQ3 協働者はGradioインターフェースを通じてどのようなモデルフィードバックを提供するか？
• RQ4 開発者と協働者はGradioにどのような追加機能を要求するか？

主な発見

• Gradioは協働者がソフトウェアをインストールせずに、共有可能なリンクとクライアントサイドのブラウザ操作を介してモデルと対話することを可能にする。
• パイロットでは、心臓専門医が超音波画像の一部を遮蔽してモデルの応答を記録することで堅牢性をテストできた。
• Gradioのセットアップとデプロイは引用された作業フローで約10分かかり、その後協働者はリアルタイムでモデルをテストできた。
• 協働者は入力操作と誤出力のフラグ付けを頻繁に用いて、ターゲットを絞ったフィードバックを提供した。
• ユーザーは組み込みのiPythonノートブック埋め込みや明示的な共有ボタンを利用することは少なく、直接URL共有を好んだ。