[논문 리뷰] Machine Teaching: A New Paradigm for Building Machine Learning Systems

Patrice Y. Simard, Saleema Amershi외 9명|arXiv (Cornell University)|2017. 07. 21.

Machine Learning and Data Classification참고 문헌 2인용 수 76

한 줄 요약

본 논문은 교사 생산성에 초점을 둔 학문으로서 Machine Teaching를 주장하고, 교사-주도형의 분리된 인터페이스 기반 패러다임을 제안하여 ML 시스템을 구축할 수 있는 구성원을 확장한다. 이는 ML 배포와 협업을 가속화하기 위해 프로그래밍 및 소프트웨어 엔지니어링과의 유사점을 도출한다.

ABSTRACT

The current processes for building machine learning systems require practitioners with deep knowledge of machine learning. This significantly limits the number of machine learning systems that can be created and has led to a mismatch between the demand for machine learning systems and the ability for organizations to build them. We believe that in order to meet this growing demand for machine learning systems we must significantly increase the number of individuals that can teach machines. We postulate that we can achieve this goal by making the process of teaching machines easy, fast and above all, universally accessible. While machine learning focuses on creating new algorithms and improving the accuracy of "learners", the machine teaching discipline focuses on the efficacy of the "teachers". Machine teaching as a discipline is a paradigm shift that follows and extends principles of software engineering and programming languages. We put a strong emphasis on the teacher and the teacher's interaction with data, as well as crucial components such as techniques and design principles of interaction and visualization. In this paper, we present our position regarding the discipline of machine teaching and articulate fundamental machine teaching principles. We also describe how, by decoupling knowledge about machine learning algorithms from the process of teaching, we can accelerate innovation and empower millions of new uses for machine learning models.

연구 동기 및 목표

• ML 전문가에 대한 과도한 의존으로 인한 현재 ML 개발 과정의 한계를 강조한다.
• Machine Teaching를 교사 생산성과 데이터와의 상호작용에 초점을 맞춘 학문으로 제안한다.
• 표준화된 인터페이스를 통해 가르침과 ML 알고리즘을 분리하여 런타임에 구애받지 않는 가르침을 가능하게 할 것을 주장한다.
• Machine Teaching과 소프트웨어 엔지니어링 간의 유사점을 도출하여 도구 및 협업을 활용한다.
• Machine Teaching 학문의 원칙, 정의 및 로드맵을 개요한다.

제안 방법

• Machine Teaching과 Machine Teaching 연구를 정의하고 이를 전통적인 ML 연구와 구분한다.
• 인터페이스를 통해 런타임에 구애받지 않는 가르침을 가능하게 하려고 가르침과 ML 알고리즘을 분리할 것을 주장한다.
• 가르침 개념을 프로그래밍 유사성(개념, 특징, 스키마, 분해)으로 매핑한다.
• 학습 이론과 일치하고 표현력과 확장성을 갖춘 가르침 언어에 대한 시스템 요구사항을 제안한다.
• 프로그래밍에서의 분해, 버전 관리, API와 같은 교훈을 MT 툴링과 프로세스의 가이드 원칙으로 논의한다.

실험 결과

연구 질문

• RQ1 Machine Teaching이 무엇이며 전통적인 머신러닝 연구와 어떻게 다른가?
• RQ2 가르침을 런타임 ML 알고리즘으로부터 분리하여 생산성과 협업을 향상시킬 수 있는가?
• RQ3 런타임 간 확장 가능하고 재사용 가능한 가르침을 지원하기 위해 필요한 인터페이스와 추상화는 무엇인가?
• RQ4 프로그래밍에서의 조직적 및 기술적 유사점이 MT 도구와 프로세스 개발에 어떤 정보를 제공할 수 있는가?

주요 결과

• Machine Teaching은 ML 모델 구축을 교사 중심의 활동으로 재구성하며, 지표를 교사 비용, 해석가능성, 확장성에 연결한다.
• 가르침은 입력, 출력 및 스키마를 표현하는 인터페이스를 사용하여 ML 알고리즘으로부터 분리될 수 있으며 이를 통해 런타임에 구애받지 않는 가르침이 가능하다.
• 하위 개념, 특징 및 스키마는 교사가 개념을 더 쉽게 다루고 문서화할 수 있도록 개념 분해를 촉진한다.
• 프로그래밍과의 비유는 MT가 버전 관리, API, 고급 가르침 언어 및 모듈식 도구 체인으로부터 이점을 얻을 수 있음을 시사한다.
• MT 패러다임은 깊은 ML 전문 지식 없이도 ML 시스템을 구축할 수 있는 사람들의 범위를 확장하여 ML을 민주화하는 것을 목표로 한다.