[論文レビュー] Machine Teaching: A New Paradigm for Building Machine Learning Systems

Patrice Y. Simard, Saleema Amershi+9 more|arXiv (Cornell University)|Jul 21, 2017

Machine Learning and Data Classification参考文献 2被引用数 76

ひとこと要約

本論文は、教師の生産性に焦点を当てた機械教育を一分野として提唱し、分離されたインターフェース駆動型のパラダイムを提案して、MLシステムを構築できる人の範囲を広げる。プログラミングやソフトウェア工学になぞらえ、MLのデプロイと協働を加速させる。

ABSTRACT

The current processes for building machine learning systems require practitioners with deep knowledge of machine learning. This significantly limits the number of machine learning systems that can be created and has led to a mismatch between the demand for machine learning systems and the ability for organizations to build them. We believe that in order to meet this growing demand for machine learning systems we must significantly increase the number of individuals that can teach machines. We postulate that we can achieve this goal by making the process of teaching machines easy, fast and above all, universally accessible. While machine learning focuses on creating new algorithms and improving the accuracy of "learners", the machine teaching discipline focuses on the efficacy of the "teachers". Machine teaching as a discipline is a paradigm shift that follows and extends principles of software engineering and programming languages. We put a strong emphasis on the teacher and the teacher's interaction with data, as well as crucial components such as techniques and design principles of interaction and visualization. In this paper, we present our position regarding the discipline of machine teaching and articulate fundamental machine teaching principles. We also describe how, by decoupling knowledge about machine learning algorithms from the process of teaching, we can accelerate innovation and empower millions of new uses for machine learning models.

研究の動機と目的

• ML専門家への過度の依存によって生じる現在のML開発プロセスの限界を浮き彫りにする。
• 教師の生産性とデータとの相互作用に焦点を当てた学習指導としての機械教育を提案する。
• 標準化されたインターフェースを通じて、教示と実行時のMLアルゴリズムを分離することを提唱する。
• ツーリングや協働を活かすために、機械教育とソフトウェア工学の類推を描く。
• 機械教育分野の原則・定義・ロードマップを概説する。

提案手法

• 機械教育と機械教育研究を definedし、従来のML研究と区別する。
• 教示をMLアルゴリズムから分離して、インターフェースを介して実行時に依存しない教示を可能にすることを主張する。
• 教示の概念をプログラミングの類推（概念、特徴、スキーマ、分解）に対応づける。
• 教育言語の表現力・拡張性・学習理論と整合性を満たすシステム要件を提案する。
• プログラミングからの教訓（分解、バージョン管理、API）を、MTツールとプロセスの指針として論じる。

実験結果

リサーチクエスチョン

• RQ1 機械教育とは何か、そして従来の機械学習研究とどう異なるのか。
• RQ2 教示を実行時のMLアルゴリズムからどのように分離して、生産性と協働を改善できるか。
• RQ3 実行時を跨いでスケーラブルで再利用可能な教示を支えるために、どのようなインターフェースと抽象化が必要か。
• RQ4 プログラミングからの組織的・技術的な類推は、MTツールとプロセスの開発をどう支援できるか。

主な発見

• 機械教育はMLモデル構築を教師中心の活動として再定義し、指標を教師コスト、解釈性、拡張性に結びつける。
• 教示は、入力・出力・スキーマを表現するインターフェースを用いてMLアルゴリズムから分離でき、実行時に依存しない教示を可能にする。
• サブコンセプト、特徴、スキーマは、概念を分解して教師による操作と文書化を容易にする。
• プログラミングとの類推は、MTがバージョン管理、API、ハイレベルな教示言語、モジュラーなツールチェーンの恩恵を受けることを示す。
• MTパラダイムは、深いML専門知識を必要とせずにMLシステムを構築できる人々を拡大することで、MLの民主化を目指す。