[論文レビュー] Software Engineering Practices for Machine Learning

Peter Kriens, Tim Verbelen|arXiv (Cornell University)|Jun 25, 2019

Adversarial Robustness in Machine Learning参考文献 6被引用数 9

ひとこと要約

本論文は、ソフトウェア工学の実践——特にOSGiの要件／能力モデル——を機械学習（ML）に適応することで、MLモデルを機械可読のメタデータ（例：入力／出力仕様、データセット）を備えたモジュラーなアーティファクトとして形式化することを提案する。これにより、実行環境（例：ランタイム、ハードウェア）の要件も明示される。MLモデルをソフトウェアライブラリのように扱うことで、MLコンポONENTの自動的かつ信頼性の高い組み合わせとデプロイが可能となり、手動での統合エラーが削減され、生産パイプラインの整備が簡素化される。

ABSTRACT

In the last couple of years we have witnessed an enormous increase of machine learning (ML) applications. More and more program functions are no longer written in code, but learnt from a huge amount of data samples using an ML algorithm. However, what is often overlooked is the complexity of managing the resulting ML models as well as bringing these into a real production system. In software engineering, we have spent decades on developing tools and methodologies to create, manage and assemble complex software modules. We present an overview of current techniques to manage complex software, and how this applies to ML models.

研究の動機と目的

• 生産システムにおけるMLモデルのデプロイおよび保守の複雑化に対処する。
• MLモデルのデプロイがしばしば後手に回り、『グルー・コード』や『パイプライン・ジャングル』といったアンチパターンを生じさせることを特定する。
• ソフトウェア工学のベストプラクティスとMLモデルライフサイクル管理のギャップを埋める。
• 形式化されたメタデータを通じて、ツール駆動のMLコンポONENTの自動組み合わせを可能にする。
• MLシステムの信頼性、再利用性、保守性を向上させるために、MLモデルをモジュラーなソフトウェアアーティファクトとしてモデル化する。

提案手法

• MLモデルを再利用可能なソフトウェアモジュールとして記述する基盤として、OSGiの要件／能力モデルを採用する。
• 構造化されたメタデータを用いてモデルの能力を定義する：入力形式（例：28x28ピクセルの画像）、出力タイプ（例：10クラスの数字分類）、データセット（例：MNIST）、バージョン。
• 必要なライブラリ、ハードウェア（例：GPU）、ランタイム依存関係などのモデル要件を指定する。
• OSGi Resolverを用いて、消費者が定義した要件に基づき、互換性のあるMLモデルおよび実行環境を自動的に組み立てる。
• 標準化された機械可読形式（例：メタデータを埋め込んだ.jarファイル）でモデルメタデータを表現する。これはソフトウェアライブラリと類似している。
• 実世界のMLワークフローに適用し、MNISTまたはSVHNで学習されたモデルが、数字分類タスク用に自動的に解決されることを示す。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学の原則（例：モularity、依存関係管理）を機械学習モデルにどのように適用できるか。
• RQ2 どのようなメタデータ構造が、複雑な生産パイプラインにおけるMLモデルの信頼性の高い自動組み合わせを可能にするか。
• RQ3 形式化された能力と要件は、MLデプロイにおける人的エラーと手作業の負荷を削減できるか。
• RQ4 MLモデルをどのようにパッケージ化・バージョニングすれば、後方互換性と相互運用性をサポートできるか。
• RQ5 既存のソフトウェア工学ツール（例：OSGi）をどれほど拡張して、MLモデルライフサイクル管理を支援できるか。

主な発見

• 入力サイズ、出力タイプ、データセットなどの能力と、必要なライブラリ、ハードウェアなどの要件を形式化することで、ツール駆動の自動的かつ信頼性の高いMLモデルの組み合わせが可能になる。
• OSGi Resolverは、消費者の要件（例：少なくとも28x28ピクセルの画像を受け入れる）に基づき、互換性のあるMLモデルを自動的に選択できる。
• MNISTまたはSVHNで学習されたMLモデルは、メタデータが消費者が定義したフィルタと一致すれば、自動的に発見され、組み合わせられる。
• 標準化されたメタデータの使用により、開発・テスト・生産段階の間で互換性が検証され、デプロイ失敗のリスクが低減される。
• MLモデルにセマンティックバージョニングと機械可読メタデータを適用することで、『グルー・コード』や『パイプライン・ジャングル』の発生頻度が顕著に減少する。
• 本アプローチにより、非構造的で手作業に依存するMLデプロイから、体系的でスケーラブルかつ保守可能なソフトウェア工学的モデルへの移行が可能になる。