[논문 리뷰] Data Science and Digital Systems: The 3Ds of Machine Learning Systems Design

Neil D. Lawrence|arXiv (Cornell University)|2019. 03. 26.

Machine Learning and Data Classification참고 문헌 7인용 수 4

한 줄 요약

이 논문은 기계학습 시스템 설계를 위한 체계적인 3D 프레임워크—분해(Decomposition), 데이터(Data), 배포(Deeloyment)—를 제안하며, 데이터 우선 아키텍처와 지속적인 모델 모니터링을 강조하여 강력하고 확장 가능한 AI 배포를 보장한다. 이 접근법은 모델 중심 개발에서 끝에서 끝까지의 시스템 설계로의 전환을 통해 데이터 품질, 작업 모듈성, 생산 환경 내 내구성을 우선시한다. 지속적인 테스트와 스트리밍 인프라를 통해 실현된다.

ABSTRACT

Machine learning solutions, in particular those based on deep learning methods, form an underpinning of the current revolution in "artificial intelligence" that has dominated popular press headlines and is having a significant influence on the wider tech agenda. Here we give an overview of the 3Ds of ML systems design: Data, Design and Deployment. By considering the 3Ds we can move towards \emph{data first} design.

연구 동기 및 목표

• 그린필드 및 browfield 환경에서 기계학습 시스템을 효과적으로 배포하는 데 도전하는 것.
• AI 분야의 '솔로우 패러독스'를 극복하여 기계학습 혁신이 측정 가능한 생산성 향상으로 이어지도록 하는 것.
• 모델 중심 개발에서 데이터 우선 시스템 개발로의 전환을 위한 체계적인 설계 방법론을 제안하는 것.
• 진행 테스팅과 하이퍼바이저 시스템을 통해 지속적인 모델 배포 및 모니터링을 가능하게 하는 것.
• 공유되는 데이터 파이프라인과 표준화된 데이터 준비 수준을 갖춘 데이터를 서비스로 제공하는 문화로의 조직적 변화를 촉진하는 것.

제안 방법

• 3D 프레임워크 적용: 분해(복잡한 작업을 자동화 가능한 하위 작업으로 나누기), 데이터(데이터 품질과 준비 상태 확보), 배포(지속적 통합 및 모니터링).
• 작업 분해를 통해 반복적이고 잘 정의된 하위 작업을 식별하고, 이는 지도학습에 적합하며, 특징 공학 및 모델 해석 가능성에 중점을 둔다.
• 원천에서의 데이터 정제를 통해 소비 가능한 데이터 스트림을 생성하여, 각 작업마다 반복적인 정제를 방지함으로써 데이터 우선 아키텍처를 권장한다.
• 진행 테스팅을 지속적 회귀 테스팅의 형태로 도입하여, 배포된 모델에서의 개념 이탈과 성능 저하를 탐지하는 데 기여한다.
• 모델 행동을 모니터링하고 시스템 조건 변화 시 재학습을 트리거할 수 있도록, 사설 모델 또는 에뮬레이터와 같은 하이퍼바이저 시스템을 활용한다.
• Apache Kafka와 같은 스트리밍 아키텍처를 도입하여 상태 없는 비동기적이고 지속적인 데이터 처리를 가능하게 하여 실시간 모델 평가 및 관찰성을 확보한다.

실험 결과

연구 질문

• RQ1 기계학습 시스템을 어떻게 체계적으로 설계할 수 있을까? 생산 환경에서의 확장성과 신뢰성을 보장하기 위해.
• RQ2 데이터 품질과 데이터 준비 수준은 기계학습 배포 성공에 어떤 역할을 하는가?
• RQ3 지속적인 모니터링과 테스팅은 어떻게 ML 배포 파이프라인에 통합되어 장기적인 모델 성능을 유지할 수 있는가?
• RQ4 다양한 팀과 서비스 간 재사용을 가능하게 하는 데이터 우선 접근 방식을 지원하는 아키텍처 패턴은 무엇인가?
• RQ5 조직은 어떻게 모델 중심에서 데이터를 서비스로 제공하는 문화로 전환하여, 배포 효율성과 유지보수성을 향상시킬 수 있는가?

주요 결과

• 분해, 데이터, 배포로 구성된 3D 프레임워크는 시스템의 강건성과 확장성을 향상시키는 체계적인 기계학습 시스템 설계 접근법을 제공한다.
• 데이터는 입력 단계가 아니라 출력 단계에서 정제되어야 하며, 이는 팀 간 재사용 가능한 고품질 데이터 스트림을 가능하게 한다.
• 진행 테스팅은 배포된 모델에서의 개념 이탈과 성능 저하를 탐지하는 데 필수적이며, 장기적인 신뢰성을 확보한다.
• 에뮬레이션 또는 사설 모델링을 사용하는 하이퍼바이저 시스템은 모델 행동을 모니터링하고 환경 변화로 인해 가정이 무효화될 경우 재학습을 트리거할 수 있다.
• Apache Kafka와 같은 스트리밍 아키텍처는 상태 없는 지속적인 데이터 파이프라인을 지원하여 실시간 대시보드, 이상 탐지 및 효율적인 시스템 관찰성을 가능하게 한다.
• 조직은 공유되는 데이터 파이프라인과 표준화된 데이터 준비 수준을 갖춘 데이터를 서비스로 제공하는 원칙에 따라 시스템을 재설계할 때 가장 큰 이점을 얻는다.