[논문 리뷰] Designing Machine Learning Toolboxes: Concepts, Principles and Patterns

Franz J. Király, Markus Löning외 3명|arXiv (Cornell University)|2021. 01. 13.

Machine Learning and Data Classification참고 문헌 31인용 수 12

한 줄 요약

이 논문은 기계학습 객체의 통계적 및 운영적 의미를 포괄하는 '과학적 유형(Scientific Types)'이라는 유형 체계를 기반으로 기계학습 도구상자 설계를 위한 개념적 프레임워크를 제안한다. 소프트웨어 공학 원칙과 통계 수식을 통합함으로써, scikit-learn과 같은 기존 도구상자들을 설명하고 새로운 더 조합 가능하고 유지보수 용이한 기계학습 소프트웨어 시스템 개발을 이끄는 재사용 가능한 설계 패턴과 원칙을 도출한다.

ABSTRACT

Machine learning (ML) and AI toolboxes such as scikit-learn or Weka are workhorses of contemporary data scientific practice -- their central role being enabled by usable yet powerful designs that allow to easily specify, train and validate complex modeling pipelines. However, despite their universal success, the key design principles in their construction have never been fully analyzed. In this paper, we attempt to provide an overview of key patterns in the design of AI modeling toolboxes, taking inspiration, in equal parts, from the field of software engineering, implementation patterns found in contemporary toolboxes, and our own experience from developing ML toolboxes. In particular, we develop a conceptual model for the AI/ML domain, with a new type system, called scientific types, at its core. Scientific types capture the scientific meaning of common elements in ML workflows based on the set of operations that we usually perform with them (i.e. their interface) and their statistical properties. From our conceptual analysis, we derive a set of design principles and patterns. We illustrate that our analysis can not only explain the design of existing toolboxes, but also guide the development of new ones. We intend our contribution to be a state-of-art reference for future toolbox engineers, a summary of best practices, a collection of ML design patterns which may become useful for future research, and, potentially, the first steps towards a higher-level programming paradigm for constructing AI.

연구 동기 및 목표

• 성공적인 기계학습 도구상자(예: scikit-learn, Weka)의 핵심 설계 원리를 식별하고 체계화하는 것.
• 데이터 과학에서 핵심적인 역할을 하면서도 설계 분석이 체계적으로 이루어지지 않은 기계학습 도구상자 설계의 부족을 보완하는 것.
• 통계적 성질과 일반적인 연산을 바탕으로 기계학습 객체의 과학적 의미와 운영 인터페이스를 캡슐화하는 새로운 유형 체계인 '과학적 유형(Scientific Types)'을 개발하는 것.
• 기존 및 향후 기계학습 도구상자 개발에 적용 가능한 재사용 가능한 설계 패턴과 원칙을 도출하는 것.
• 소프트웨어 공학과 통계 수식을 통합함으로써 인공지능/기계학습을 위한 고차원의 선언적 프로그래밍 패러다임을 마련하는 데 기초를 다지는 것.

제안 방법

• 기계학습 객체(예: 데이터, 모델, 분포)의 연산 집합과 통계적 성질에 기반한 유형 체계인 '과학적 유형(Scientific Types)'을 제안한다.
• 도메인 중심 설계 원칙을 적용하여 기계학습 도메인을 명확한 추상화, 인터페이스, 구성 요소 간 관계로 모델링한다.
• 메타-에스티메이터(meta-estimators) 패턴을 도입하여 감소(reductions, 예: 예측 → 회귀)를 캡슐화함으로써 모ularity, 조정 가능성, 조합 가능성을 높인다.
• 어댑터 패턴과 조합 패턴을 사용하여 다양한 기계학습 작업 간에 표준 조정 및 평가 도구의 인터페이스 적응과 재사용을 가능하게 한다.
• 개념적 모델에서 유도된 설계 원칙을 실제 도구상자(예: scikit-learn, mlr3, MLJ) 분석을 통해 검증한다.
• 감소를 일급 구성 요소로 형식화함(예: ForecastingToRegressionReduction)하고, 공통 인터페이스를 통해 하이퍼파rameter를 노출시킨다.

실험 결과

연구 질문

• RQ1 scikit-learn과 Weka와 같은 성공적인 기계학습 도구상자 뒤에 깔린 핵심 설계 원리는 무엇인가?
• RQ2 기계학습 객체의 데이터 유형을 넘어서, 그들의 연산과 통계적 행동에 기반해 과학적 의미를 체계적으로 포착할 수 있는 방법은 무엇인가?
• RQ3 수학적 수식이 인터페이스와 동작에 중심이 되는 기계학습 워크플로우의 고유한 제약 조건을 고려할 때, 소프트웨어 공학 패턴을 어떻게 적응시킬 수 있는가?
• RQ4 기계학습 작업 간 감소(reductions)를 체계적으로 모델링하고 재사용 가능한 구성 요소로 조합할 수 있는 방법은 무엇인가?
• RQ5 과학적 유형에 기반한 통합 개념적 모델이 조합 가능하고 유지보수 용이하며 확장 가능한 기계학습 소프트웨어 시스템을 만들어낼 수 있는가?

주요 결과

• 제안된 과학적 유형 체계는 데이터 컨테이너, 추정기, 확률 분포와 같은 기계학습 객체의 과학적 목적과 운영 인터페이스를 그들이 지원하는 연산과 통계적 성질을 결합함으로써 성공적으로 포괄한다.
• 과학적 유형에서 도출된 설계 원칙은 scikit-learn, mlr3와 같은 기존 도구상자에서의 핵심 아키텍처 결정(예: 일관된 인터페이스, 책임 분리)을 설명한다.
• 감소를 메타-에스티메이터로 표현함으로써 모ularity를 확보하여, 기존 알고리즘을 최소한의 코드 중복으로 새로운 작업(예: 회귀를 통한 예측)에 적응시킬 수 있다.
• 메타-에스티메이터 패턴은 감소의 하이퍼파rameter(예: 윈도우 길이, 예측 전략)를 조정 가능한 매개변수로 노출함으로써 체계적인 하이퍼파rameter 최적화를 가능하게 한다.
• 감소를 연결함으로써 조합 가능성을 달성한다(예: 특성 공학을 통해 시계열 예측을 표본 기반 회귀로 감소시킴), 이는 복잡한 워크플로우가 원자적이고 재사용 가능한 구성 요소들로 구성될 수 있음을 보여준다.
• 이 프레임워크는 저수준의 구현 세부사항을 추상화하면서도 의미론적 정확성을 유지함으로써, 향후 기계학습을 위한 선언적이고 SQL 유사한 언어의 기초를 제공한다.