[논문 리뷰] ktrain: A Low-Code Library for Augmented Machine Learning

Arun S. Maiya|arXiv (Cornell University)|2020. 04. 19.

Topic Modeling참고 문헌 14인용 수 53

한 줄 요약

ktrain은 TensorFlow Keras 및 다른 도구를 래핑하여 텍스트, 비전, 그래프, 및 표 형식 데이터에 걸친 모델을 단일화된, three-to-four-line workflow를 통해 구축, 학습, 검사 및 배포를 간소화하는 로우코드 Python 라이브러리입니다.

ABSTRACT

We present ktrain, a low-code Python library that makes machine learning more accessible and easier to apply. As a wrapper to TensorFlow and many other libraries (e.g., transformers, scikit-learn, stellargraph), it is designed to make sophisticated, state-of-the-art machine learning models simple to build, train, inspect, and apply by both beginners and experienced practitioners. Featuring modules that support text data (e.g., text classification, sequence tagging, open-domain question-answering), vision data (e.g., image classification), graph data (e.g., node classification, link prediction), and tabular data, ktrain presents a simple unified interface enabling one to quickly solve a wide range of tasks in as little as three or four "commands" or lines of code.

연구 동기 및 목표

• 다양한 데이터 유형과 작업에 대해 단순하고 통합된 인터페이스를 제공함으로써 정교한 ML에 대한 접근성을 민주화한다.
• 코딩 노력을 줄이기 위해 데이터 전처리, 모델 생성, 학습률 추정, 학습, 평가, 배포 같은 핵심 ML 워크플로우 단계를 자동화하거나 부분 자동화한다.
• 초보자와 도메인 전문가 모두가 최소한의 코드로 모델을 구축, 학습, 튜닝, 검사하고 적용할 수 있도록 한다.
• Explainable AI 도구 및 배포 준비성과 함께 즉시 사용 가능한 모델과 전이 학습 옵션을 지원한다.

제안 방법

• tf.keras 및 기타 라이브러리(예: transformers, scikit-learn, stellargraph)를 래핑하는 통합된 로우-code API를 제공한다.
• 데이터 검사에 기반한 자동 모델 구성을 통해 텍스트, 비전, 그래프, 표 형 데이터에 대한 작업을 제공한다.
• 데이터 로딩/전처리, 모델 생성, 학습률 추정, 그리고 다양한 스케줄(fit_onecycle, autofit 등)로 학습하는 단계들을 포함한다.
• 학습을 촉진하기 위한 Learner 추상화와 저장/로드 기능 및 Explainable AI 지원이 있는 배포용 Predictor 추상화를 노출한다.

실험 결과

연구 질문

• RQ1 다중 데이터 모달리티(텍스트, 비전, 그래프, 표) 전반에 걸쳐 일반적인 ML 워크플로우 단계를 자동화하고 통합하기 위해 로우-code 인터페이스를 어떻게 활용할 수 있는가?
• RQ2 보강 자동화(AugML)가 초보자와 전문가 모두를 위한 고품질 모델 구축의 접근성과 속도에 미치는 영향은 무엇인가?
• RQ3 사용자가 out-of-the-box 모델과 커스텀 모델 사이에서 효과적으로 선택하면서 작업 전반에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 ktrain은 최소한의 사용자 코딩으로 검사, 평가 및 배포 워크플로우를 얼마나 잘 지원하는가?

주요 결과

• ktrain은 작업당 세에서 네 줄의 코드로 엔드-투-엔드 ML 워크플로를 가능하게 하는 통합 인터페이스를 제공한다.
• 사전 학습된 모델(예: BERT, ResNet50)과 데이터에 따른 자동 구성을 통해 텍스트, 비전, 그래프 및 표 형 데이터를 지원한다.
• 자동화 기능에는 학습률 찾기 및 다양한 학습 스케줄(OneCycle, triangular LR, SGDR)과 선택적 조기 중단이 포함된 자동화 기능이다.
• 패키지는 평가, 오류 분석(view_top_losses), 그리고 설명 가능한 AI 기능(SHAP, ELI5, LIME)을 갖춘 배포 준비된 Predictor를 제공한다.
• 비지도 학습 작업(예: open-domain QA, topic modeling, zero-shot classification)은 세 줄의 코드로 구현할 수 있다.