[논문 리뷰] Declarative Machine Learning - A Classification of Basic Properties and Types

Matthias Böehm, Alexandre Evfimievski외 2명|arXiv (Cornell University)|2016. 05. 19.

Machine Learning and Data Classification참고 문헌 29인용 수 14

한 줄 요약

이 논문은 데이터 독립성, 작업 추상화, 결과 정확성과 같은 핵심 성질을 바탕으로 문법에 종속되지 않는 기계학습(ML)의 분류 체계를 제안한다. 이는 MLbase, SystemML, DeepDive와 같은 다양한 시스템이 이러한 원칙을 따름으로써 표준화된 벤치마크와 각 유형에 맞는 사양 언어를 가능하게 한다.

ABSTRACT

Declarative machine learning (ML) aims at the high-level specification of ML tasks or algorithms, and automatic generation of optimized execution plans from these specifications. The fundamental goal is to simplify the usage and/or development of ML algorithms, which is especially important in the context of large-scale computations. However, ML systems at different abstraction levels have emerged over time and accordingly there has been a controversy about the meaning of this general definition of declarative ML. Specification alternatives range from ML algorithms expressed in domain-specific languages (DSLs) with optimization for performance, to ML task (learning problem) specifications with optimization for performance and accuracy. We argue that these different types of declarative ML complement each other as they address different users (data scientists and end users). This paper makes an attempt to create a taxonomy for declarative ML, including a definition of essential basic properties and types of declarative ML. Along the way, we provide insights into implications of these properties. We also use this taxonomy to classify existing systems. Finally, we draw conclusions on defining appropriate benchmarks and specification languages for declarative ML.

연구 동기 및 목표

• 문법이나 실행 방식에 관계없이 기계학습의 정의에 대한 애매함을 제거하기 위해 체계적이고 문법에 종속되지 않는 분류 체계를 수립하기 위해.
• 기계학습 시스템을 정의하는 데 핵심적인 기본 성질인 물리적 데이터 독립성, 데이터 플로우 독립성, 결과 정확성 등을 식별하고 형식화하기 위해.
• 제안된 분류 체계에 따라 기존 시스템(예: MLbase, SystemML, DeepDive)을 체계적으로 분류하여 기계학습 원칙과의 일치성을 명확히 하기 위해.
• 기계학습 시스템의 특성과 추상화 수준에 맞는 유형별 벤치마크와 도메인 특화 사양 언어의 필요성을 주장하기 위해.
• 알고리즘 의미론을 저수준 실행 세부 정보에서 분리함으로써 이식 가능하고 최적화되며 확장 가능한 기계학습 시스템의 개발을 지원하기 위해.

제안 방법

• 세 가지 핵심 성질 정의: (1) 물리적 데이터 독립성(저장 및 분포를 숨기는 데이터 유형 추상화), (2) 데이터 플로우 독립성(실행 플로우 폭 드러남 없음), (3) 결과 정확성(결정론적 또는 오차가 제한된 결과).
• 기계학습 시스템을 세 단계로 분류: (1) 기계학습 작업(예: 모델 탐색), (2) 기계학습 알고리즘(예: 반복 알고리즘용 도메인 특화 언어), (3) 대규모 기계학습 라이브러리(예: MLlib)를 기준으로 삼음.
• Apache SystemML을 대표 사례로 삼아 핵심 성질이 실제로 어떻게 적용되는지 설명함. 특히 추상 데이터 유형과 자동 계획 생성을 중심으로 분석함.
• 기존 시스템(예: MLbase, Columbus, DeepDive)을 분류 체계에 매핑하여 정의된 성질을 충족하는지 확인함.
• 유형별 벤치마크와 도메인 특화 사양 언어의 필요성을 주장함. 배열 및 베이지안 기계학습 워크로드에 대해 SciDB와 SimSQL 등의 기존 사례를 근거로 제시함.
• 핵심 성질을 충족하는 한 문법은 기계학습의 본질적 정의에 영향을 주지 않으며, 따라서 루프 문법 논쟁은 기본 정의에 있어 무의미하다고 결론 내림.

실험 결과

연구 질문

• RQ1 어떤 시스템이 문법이나 실행 방식과 무관하게 기계학습으로 간주될 수 있는가?
• RQ2 기계학습 시스템의 추상화 수준과 행동에 기반해 기존 시스템을 기계학습의 유형별로 어떻게 체계적으로 분류할 수 있는가?
• RQ3 MLbase, SystemML, DeepDive와 같은 시스템이 제안된 기본 성질을 어느 정도 충족하는가?
• RQ4 왜 기계학습 시스템 평가에 통합된 기준의 벤치마크는 부적절한가? 효과적인 유형별 벤치마크의 특성은 무엇인가?
• RQ5 다양한 기계학습 시스템 유형의 고유한 요구사항을 충족시키기 위해 사양 언어를 어떻게 설계할 수 있으며, 이를 문법에 종속되지 않게 할 수 있는가?

주요 결과

• 물리적 데이터 독립성, 데이터 플로우 독립성, 결과 정확성은 문법이나 제어 흐름 요소와 무관하게 기계학습을 정의하는 데 충분하고 필수적인 성질이다.
• MLbase와 Columbus는 고수준의 학습 문제와 최적화 목표를 명시함으로써 데이터와 실행 세부 정보를 추상화하므로 기계학습 작업으로 분류된다.
• SystemML는 고수준의 도메인 특화 언어를 지원하여 최적화된 실행 계획을 생성하지만 물리적 데이터 표현과 실행 플로우를 숨기므로 기계학습 알고리즘의 사례로 적합하다.
• DeepDive는 SQL과 UDF를 통해 통계적 추론과 인자 그래프 계산을 추상화함으로써 특징 선택에 있어 기계학습 시스템으로 간주되며, 알고리즘 내부를 폭 드러내지 않는다.
• 이 분류 체계는 기계학습 시스템과 전통적인 기계학습 라이브러리 간의 명확한 차이를 제공한다. 후자는 실행 계획을 고정하고 저수준 데이터 표현을 폭 드러낸다.
• 논문은 벤치마크와 도메인 특화 사양 언어가 공정한 평가와 발전을 위해 필수적이라고 결론 내리며, 배열 및 베이지안 기계학습 데이터베이스에서 성공한 사례를 통해 이를 입증한다.