[論文レビュー] Designing Machine Learning Toolboxes: Concepts, Principles and Patterns

Franz J. Király, Markus Löning+3 more|arXiv (Cornell University)|Jan 13, 2021

Machine Learning and Data Classification参考文献 31被引用数 12

ひとこと要約

この論文は、機械学習オブジェクトの統計的および操作的意味を捉える『科学的型』と呼ばれる型システムに基づいて、機械学習ツールボックスを設計する概念的枠組みを提示する。ソフトウェア工学の原則と統計的形式主義を統合することで、scikit-learn や他の既存のツールボックスを説明する再利用可能な設計パターンや原則を導出し、より組み合わせ可能で保守性の高い機械学習ソフトウェアシステムの開発を支援する。

ABSTRACT

Machine learning (ML) and AI toolboxes such as scikit-learn or Weka are workhorses of contemporary data scientific practice -- their central role being enabled by usable yet powerful designs that allow to easily specify, train and validate complex modeling pipelines. However, despite their universal success, the key design principles in their construction have never been fully analyzed. In this paper, we attempt to provide an overview of key patterns in the design of AI modeling toolboxes, taking inspiration, in equal parts, from the field of software engineering, implementation patterns found in contemporary toolboxes, and our own experience from developing ML toolboxes. In particular, we develop a conceptual model for the AI/ML domain, with a new type system, called scientific types, at its core. Scientific types capture the scientific meaning of common elements in ML workflows based on the set of operations that we usually perform with them (i.e. their interface) and their statistical properties. From our conceptual analysis, we derive a set of design principles and patterns. We illustrate that our analysis can not only explain the design of existing toolboxes, but also guide the development of new ones. We intend our contribution to be a state-of-art reference for future toolbox engineers, a summary of best practices, a collection of ML design patterns which may become useful for future research, and, potentially, the first steps towards a higher-level programming paradigm for constructing AI.

研究の動機と目的

• 成功した機械学習ツールボックス（例：scikit-learn や Weka）の背後にある核心的な設計原則を特定・形式化すること。
• データサイエンスにおける中心的役割を果たすにもかかわらず、機械学習ツールボックス設計における体系的分析の不足に応えること。
• 統計的性質と一般的な操作に基づいて、機械学習オブジェクトの科学的意味と操作インターフェースを符号化する新しい型システム「科学的型」を構築すること。
• 既存および将来の機械学習ツールボックス開発に適用可能な再利用可能な設計パターンと原則を導出すること。
• ソフトウェア工学と統計的形式主義を統合することで、AI/MLのための高レベルで宣言的なプログラミングパラダイムを築く基盤を提供すること。

提案手法

• 機械学習オブジェクト（例：データ、モデル、分布）のサポートする操作と統計的性質に基づいて型を定義する、新しい型システム「科学的型」を提案すること。
• ドメイン駆動設計の原則を適用し、明確な抽象化、インターフェース、コンポーネント間の関係を用いて機械学習ドメインをモデル化すること。
• メタ推定器（meta-estimators）をパターンとして導入し、リダクション（例：予測 → 回帰）をカプセル化することで、モularity、チューニング可能性、組み合わせ可能性を実現すること。
• アダプターパターンとコンポジションパターンを用いて、インターフェースの適応と、標準的なチューニングおよび評価ツールの異なる機械学習タスク間での再利用を可能にすること。
• 概念的モデルから設計原則を導出し、scikit-learn や mlr3、MLJ といった実世界のツールボックスの分析を通じて検証すること。
• リダクションを一等級のコンポーネント（例：ForecastingToRegressionReduction）として形式化し、共通インターフェースを介してハイパーパrameterを公開すること。

実験結果

リサーチクエスチョン

• RQ1 scikit-learn や Weka のような成功した機械学習ツールボックスの背後にある核心的な設計原則は何か？
• RQ2 操作と統計的挙動に基づいて、データ型を超えた機械学習オブジェクトの科学的意味を形式的に捉える方法は何か？
• RQ3 数学的形式主義がインターフェースと挙動の中心を占める機械学習ワークフローの独自の制約に、ソフトウェア工学のパターンをどのように適合させられるか？
• RQ4 機械学習タスク間のリダクションを、再利用可能なコンポーネントとして体系的にモデル化・組み合わせる方法は何か？
• RQ5 科学的型に基づく統一された概念的モデルは、より組み合わせ可能で保守性が高く拡張性のある機械学習ソフトウェアシステムの構築に寄与できるか？

主な発見

• 提案された科学的型システムは、データコンテナ、推定器、確率分布などの機械学習オブジェクトの科学的目的と操作インターフェースを、サポートする操作と統計的性質の組み合わせによって効果的に捉えている。
• 科学的型から導出された設計原則は、scikit-learn や mlr3 における一貫したインターフェースや責任の分離といった重要なアーキテクチャ的決定を説明している。
• リダクションをメタ推定器として表現することで、モularity が実現され、任意のベースアルゴリズムを最小限のコード重複で新しいタスク（例：回帰による予測）に適応可能になる。
• メタ推定器パターンにより、リダクションのハイパーパrameter（例：ウィンドウ長、予測戦略）がチューナブルなパラメータとして公開され、体系的なハイパーパramータ最適化が可能になる。
• リダクションの連結（例：特徴工学を介した時系列予測を表計算回帰に還元）により、組み合わせ可能性が達成され、複雑なワークフローが原子的で再利用可能なコンポーネントから構築可能であることが示された。
• このフレームワークは、低レベルの実装詳細を抽象化しながら意味論的正しさを保持するため、将来の宣言的でSQLに似た機械学習言語の基盤を提供する。