[논문 리뷰] Accelerating Human-in-the-loop Machine Learning: Challenges and Opportunities

Doris Xin, Litian Ma외 4명|arXiv (Cornell University)|2018. 04. 16.

Scientific Computing and Data Management참고 문헌 16인용 수 16

한 줄 요약

이 논문은 반복적인 머신러닝 개발을 지능적으로 캐시하고 중간 결과를 재사용함으로써 가속화하는 선언적이고 인간이 개입하는 머신러닝 시스템인 Helix를 제안한다. 워크플로우를 DAG로 모델링하고, 비용 기반의 실시간 물질화 정책을 사용함으로써, 특히 데이터 전처리가 중심이 되는 워크플로우에서 DeepDive 및 KeystoneML과 같은 시스템에 비해 누적 런타임을 최대 10배까지 감소시킨다.

ABSTRACT

Development of machine learning (ML) workflows is a tedious process of iterative experimentation: developers repeatedly make changes to workflows until the desired accuracy is attained. We describe our vision for a "human-in-the-loop" ML system that accelerates this process: by intelligently tracking changes and intermediate results over time, such a system can enable rapid iteration, quick responsive feedback, introspection and debugging, and background execution and automation. We finally describe Helix, our preliminary attempt at such a system that has already led to speedups of up to 10x on typical iterative workflows against competing systems.

연구 동기 및 목표

• 개발자가 반복적으로 동일한 컴포넌트를 다시 계산하는 반복적 머신러닝 워크플로우에서 발생하는 비효율성을 해결하기 위해.
• 반복적 모델 개발 중에 신속하고 반응성이 높은 피드백을 제공함으로써 피드백 지연을 줄이고 개발자 생산성을 향상시키기 위해.
• 선언적 사양과 워크플로우 진화를 위한 자동 제안을 통해 초보자 및 전문가 사용자 모두를 지원하기 위해.
• 반복 간 '생각 시간'을 활용해 백그라운드 처리(예: 다른 모델이나 특징 탐색)를 가능하게 하기 위해.
• 비용과 재사용 가능성에 기반해 어느 중간 결과를 물리적으로 저장할지 지능적으로 선택함으로써 저장소 및 실행 최적화를 위해.

제안 방법

• 중간 데이터 항목의 방향성 비순환 그래프(DAG)로 머신러닝 워크플로우를 모델링하며, 노드는 연산자 출력을 나타내고 간선은 데이터 종속성을 나타낸다.
• 저장소 제약 조건 하에 총 계산 및 로드 비용을 최소화하는 최적화 문제로 물질화 문제를 공식화하며, 비용 모델은 (c_i + 학습자들의 c_j 합) - 2*l_i를 기반으로 한다.
• 상태 할당 문제(계산/로드/제거)를 최대 유량 문제로 환원함으로써 다항 시간 알고리즘을 적용하여 해결한다.
• 각 연산자가 완료된 직후 즉시 결정하는 실시간 물질화 정책을 구현하며, 비용 모델과 남은 저장소를 기반으로 한다.
• Apache Spark를 기반 실행 엔진으로 사용하며, Tensorflow와 같은 다른 프레임워크로의 확장성도 제공한다.
• 재계산 비용과 로드 비용을 균형 잡는 최적의 물리적 실행 계획을 계산하는 DAG 최적화기 통합.

실험 결과

연구 질문

• RQ1 반복적 머신러닝 워크플로우에서 중간 결과를 어떻게 선택적으로 캐시하여 총 실행 시간을 최소화할 수 있는가?
• RQ2 미리 향후 재사용 패턴을 계산하지 않더라도 실시간으로 물질화 결정을 효율적으로 내릴 수 있는 비용 모델은 무엇인가?
• RQ3 빠른 근사 결과를 제공함으로써 인간이 개입하는 머신러닝에서 피드백 지연을 어떻게 줄일 수 있는가?
• RQ4 개발자가 생각하는 시간 동안 배경 처리를 통해 워크플로우 진화를 가속화할 수 있는 최적화는 무엇인가?
• RQ5 다양한 머신러닝 워크플로우(예: 지도 학습에서 딥러닝에 이르기까지)에 일반화할 수 있고, 동시에 초보자와 전문가 사용자 모두를 지원할 수 있는 시스템은 어떻게 설계할 수 있는가?

주요 결과

• 분류 작업에서 Helix는 KeystoneML 및 DeepDive에 비해 누적 런타임을 최대 10배까지 단축시켰다.
• 정보 추출 작업에서 Helix는 모든 중간 결과를 물리적으로 저장하는 DeepDive에 비해 누적 런타임을 60% 감소시켰다.
• 일반적으로 가장 높은 런타임을 유발하는 데이터 전처리 반복에서 시스템은 뚜렷한 성능 향상을 보였다.
• 평가 반복은 필수 재계산 비용에 비례해 가장 낮은 런타임을 기록했으며, 이는 모델이 재사용 패턴을 정확하게 예측하고 있음을 확인했다.
• 비용 기반의 물질화 정책은 온라인 결정 제약 조건과 저장소 제약을 고려하면서도 불필요한 재계산을 효과적으로 줄였다.
• 물질화 문제를 최대 유량 문제로 환원함으로써 최적의 다항 시간 해법을 도출하였으며, 이는 접근의 이론적 기반을 검증하였다.