[논문 리뷰] Towards Observability for Machine Learning Pipelines

Shreya Shankar, Aditya Parameswaran|arXiv (Cornell University)|2021. 08. 31.

Scientific Computing and Data Management참고 문헌 22인용 수 7

한 줄 요약

이 논문은 기존 도구의 핵심 로직을 변경하지 않고도 기반이 되는 도구에 통합되는 플랫폼에 구애받지 않는 관측 가능성 시스템인 mltrace를 제안한다. 이는 런타임 테스트를 실행하고 구성 요소 간의 데이터 흐름을 추적하며, 파이프라인의 건강 상태에 대한 사후 분석을 지원함으로써 종단 간 모니터링을 가능하게 한다. 이는 ML 배포 시 투명도가 낮은 문제를 해결하기 위해 산만한 도구들을 통합하여 최소한의 통합 오버헤드로도 일관된 관측 가능성 계층을 제공한다.

ABSTRACT

Software organizations are increasingly incorporating machine learning (ML) into their product offerings, driving a need for new data management tools. Many of these tools facilitate the initial development and deployment of ML applications, contributing to a crowded landscape of disconnected solutions targeted at different stages, or components, of the ML lifecycle. A lack of end-to-end ML pipeline visibility makes it hard to address any issues that may arise after a production deployment, such as unexpected output values or lower-quality predictions. In this paper, we propose a system that wraps around existing tools in the ML development stack and offers end-to-end observability. We introduce our prototype and our vision for mltrace, a platform-agnostic system that provides observability to ML practitioners by (1) executing predefined tests and monitoring ML-specific metrics at component runtime, (2) tracking end-to-end data flow, and (3) allowing users to ask arbitrary post-hoc questions about pipeline health.

연구 동기 및 목표

• ML 생명주기 전반에 걸쳐 산만하고 점별적인 솔루션으로 인해 관측 가능성의 한계가 커지는 문제를 해결하기 위해.
• 배포 후 예기치 않은 출력이나 모델 성능 저하와 같은 문제를 탐지하고 진단할 수 있도록 ML 전문가를 지원하기 위해.
• 기존 도구의 변경 없이도 데이터 흐름과 메트릭을 ML 구성 요소 전반에 걸쳐 추적할 수 있는 통합적이고 확장 가능한 시스템을 제공하기 위해.
• 사전 정의된 경고를 넘어서 진단 능력을 향상시키기 위해 파이프라인 동작에 대한 임의의 사후 질문을 지원하기 위해.

제안 방법

• 시스템은 기존의 ML 개발 도구를 감싸며, 구성 요소 실행을 가로채 관측 가능성 로직을 삽입한다.
• 사전 정의된 테스트를 실행하고, 파이프라인 구성 요소 전반에서 런타임에 ML 전용 메트릭(예: 예측 품질, 데이터 드프트)을 모니터링한다.
• 구성 요소 간 데이터 흐름을 인스트루멘터링하여 종단 간 데이터 라인리지 추적을 수행함으로써 입력에서 출력까지의 추적 가능성을 보장한다.
• 다양한 도구와 프레임워크를 지원하기 위해 플러그인 기반 아키텍처를 사용한다.
• 사용자가 배포 후에도 파이프라인 동작을 유연하고 표현력 있는 쿼리 인터페이스를 통해 질의할 수 있도록 하여 사후 분석을 가능하게 한다.
• 플랫폼 특화된 세부 정보를 추상화하여 다양한 ML 환경 간 이식성과 상호 운용성을 보장한다.

실험 결과

연구 질문

• RQ1 ML 생명주기 전반에 걸쳐 이질적이고 분리된 도구들 간에 깊은 통합 없이도 관측 가능성을 어떻게 달성할 수 있는가?
• RQ2 ML 전용 메트릭과 구성 요소 동작을 효과적으로 런타임에서 모니터링하기 위한 메커니즘은 무엇인가?
• RQ3 종단 간 데이터 라인리지를 어떻게 캡처하고 디버깅 및 감사에 활용할 수 있는가?
• RQ4 최소한의 인스트루멘테이션으로 사전 정의된 경고를 넘어서 파이프라인 동작에 대한 사후 분석을 어느 정도 지원할 수 있는가?

주요 결과

• mltrace는 핵심 로직을 변경하지 않고도 기존 도구에 인스트루멘테이션하여 종단 간 관측 가능성을 실현한다.
• 시스템은 파이프라인 실행 중에 데이터 라인리지 캡처와 구성 요소 수준의 메트릭 추적에 성공한다.
• 런타임 테스트 및 ML 전용 메트릭의 모니터링은 실제 ML 파이프라인 워크플로우에서 실행 가능하고 효과적이다.
• 유연하고 확장 가능한 쿼리 인터페이스를 통해 파이프라인 건강 상태에 대한 사후 쿼리가 지원된다.
• 플랫폼에 구애받지 않는 설계 덕분에 다양한 ML 도구와 프레임워크와의 통합이 가능해져 도입 가능성을 높였다.
• 프로토타입은 데이터 드프트나 예측 이질성과 같은 문제를 배포 후 진단하는 데서의 실현 가능성과 유용성을 입증했다.