[논문 리뷰] Towards Automating the AI Operations Lifecycle

Matthew Arnold, Jeffrey Boston외 6명|arXiv (Cornell University)|2020. 03. 28.

Machine Learning and Algorithms참고 문헌 19인용 수 10

한 줄 요약

이 논문은 성능 예측과 KPI 분석을 활용한 AI 운영 자동화 프레임워크를 제안하여 AI 라이프사이클 단계에서의 인간 간섭을 줄인다. 실제 생산 환경 데이터에서 모델 정확도를 예측하고 애플리케이션 수준의 KPI를 추적함으로써, 자동화된 사전 배포 테스트, 안전한 배포, 성능 이탈 모니터링, 및 표적화된 모델 개선이 가능해지며, 운영 비용과 인간의 노력을 크게 감소시킨다.

ABSTRACT

Today's AI deployments often require significant human involvement and skill in the operational stages of the model lifecycle, including pre-release testing, monitoring, problem diagnosis and model improvements. We present a set of enabling technologies that can be used to increase the level of automation in AI operations, thus lowering the human effort required. Since a common source of human involvement is the need to assess the performance of deployed models, we focus on technologies for performance prediction and KPI analysis and show how they can be used to improve automation in the key stages of a typical AI operations pipeline.

연구 동기 및 목표

• 모델 테스트, 배포, 모니터링, 개선 과정에서 요구되는 높은 인간의 노동력과 전문성 문제를 해결하기 위해.
• 생산 데이터가 변화함에 따라 오래된 상태가 되는 정적 수동 레이블링 테스트 세트에 대한 의존도를 줄이기 위해.
• 실시간 메트릭을 활용한 성능 악화 자동 감지 기능을 통해 모델 배포의 안전성을 향상시키기 위해.
• 고립된 모델 메트릭에서 벗어나 사용자에게 보이는 애플리케이션 수준의 KPI로 초점을 이동시켜 모델 변경이 비즈니스 성과에 영향을 주는지 보장하기 위해.
• 모델 행동과 KPI 이상 현상 간의 연관성을 연결함으로써 더 빠르고 데이터 기반의 진단 및 반복적인 모델 개선을 가능하게 하기 위해.

제안 방법

• 보정된 신뢰도 점수 또는 메타모델링을 활용해 레이블이 없는 생산 트래픽에서의 모델 정확도를 추정하는 AI 기반 성능 예측을 사용한다.
• 기존 테스트 세트와 성능 예측을 통합하여, 레이블이 부여된 생산 데이터가 필요 없이도 생산 환경에 적합한 정확도 추정치를 생성한다.
• 공통의 관련성 ID를 사용해 애플리케이션 수준 메트릭(예: 클릭률, 승인률 등)을 로깅함으로써 KPI 분석을 구현한다. 이를 통해 모델 결정과 비즈니스 성과를 연결한다.
• 배포 및 모니터링 단계에서 성능 예측 결과의 감소 또는 KPI 감소를 자동 경고 및 롤백 결정의 트리거로 활용한다.
• KPI에 레이블이 부여된 데이터를 대상으로 상관관계 및 인과 분석을 수행하여 성능 악화와 관련된 모델 행동을 특정화함으로써 진단 범위를 좁힌다.
• KPI 기반 진단 파이프라인을 활용해 낮은 KPI를 기록한 트랜잭션에 인간 분석의 초점을 맞춰, 모델 개선 과정에서의 수동 작업을 줄인다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 생산 샘플이 필요 없이 성능 예측을 어떻게 활용해 실제 생산 환경 데이터에서의 모델 정확도를 추정할 수 있는가?
• RQ2 모델 행동과 비즈니스 성과를 연결함으로써 KPI 분석이 AI 운영 자동화에 얼마나 기여하는가?
• RQ3 기존의 특성 또는 사전 분포 이탈 감지 방식과 비교해 성능 예측 및 KPI 모니터링이 이탈 감지에서의 잘못된 경고(거짓 경고)를 얼마나 줄일 수 있는가?
• RQ4 KPI 기반 진단은 모델 성능 저하의 근본 원인을 특정하는 데 소요되는 시간과 전문 지식을 어떻게 줄일 수 있는가?
• RQ5 성능 예측 및 KPI 분석에서 유도된 자동 메트릭은 모델 배포 및 롤백의 안전성과 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 성능 예측을 통해 레이블이 부여된 훈련 데이터와 보정된 신뢰도 점수만으로도 실제 생산 트래픽에서의 모델 성능을 정확하게 추정할 수 있으며, 이로 인해 레이블이 부여된 생산 데이터가 필요 없어진다.
• 성능 예측과 사전 배포 테스트를 통합함으로써, 데이터 분포가 변화하더라도 실제 생산 조건을 반영한 평가의 관련성을 향상시킨다.
• KPI 분석은 모델 영향에 대한 직접적이고 비즈니스적으로 관련 있는 신호를 제공하여, 사용자 결과에 영향을 주는 변경 사항에 집중할 수 있도록 팀의 주안점을 이동시킨다.
• 성능 예측 결과의 감소 또는 KPI 감소로 유도된 자동 경고는 수동 모니터링의 부담을 줄이고 성능 저하에 대한 대응 속도를 향상시킨다.
• KPI 기반 진단은 낮은 KPI 결과를 기록한 트랜잭션에 집중함으로써 인간이 검토해야 할 데이터의 양을 줄여 진단 효율성을 향상시킨다.
• 성능 예측과 KPI 분석의 병합적 활용은 신뢰할 수 있는 애플리케이션 수준의 품질 신호를 제공함으로써 더 안전하고 자동화된 배포를 가능하게 하며, 수동 평가에 대한 의존도를 감소시킨다.