[논문 리뷰] Characterizing machine learning process: A maturity framework

Rama Akkiraju, Vibha Singhal Sinha외 6명|arXiv (Cornell University)|2018. 11. 12.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 12

한 줄 요약

이 논문은 기업이 기계학습(LM) 라이프사이클을 체계적으로 관리할 수 있도록 도와주는 머신러닝 성숙도 프레임워크를 제안한다. 이 프레임워크는 능력 성숙도 모델(CMM)을 모델로 삼고 있으며, 비즈니스 용도 사례를 데이터 과학 요구사항과 일치시키고, 모델 정확도와 공정성을 향상시키며, 일반 목적 모델을 도메인 특화 요구사항에 맞게 맞춤화하는 데 최적화된 실천 방법을 제시한다. 이에 따라 조직은 초기 수준이 어떠하든 간에 더 높은 프로세스 성숙도를 달성할 수 있다.

ABSTRACT

Academic literature on machine learning modeling fails to address how to make machine learning models work for enterprises. For example, existing machine learning processes cannot address how to define business use cases for an AI application, how to convert business requirements from offering managers into data requirements for data scientists, and how to continuously improve AI applications in term of accuracy and fairness, and how to customize general purpose machine learning models with industry, domain, and use case specific data to make them more accurate for specific situations etc. Making AI work for enterprises requires special considerations, tools, methods and processes. In this paper we present a maturity framework for machine learning model lifecycle management for enterprises. Our framework is a re-interpretation of the software Capability Maturity Model (CMM) for machine learning model development process. We present a set of best practices from our personal experience of building large scale real-world machine learning models to help organizations achieve higher levels of maturity independent of their starting point.

연구 동기 및 목표

• 기업 환경에서 기계학습 모델을 구현하는 데 있어 학술 문헌에서 부족한 점을 보완하기 위해.
• 비즈니스 요구사항을 데이터 과학 작업으로 번역하기 위한 체계적인 접근법을 제공하기 위해.
• 정확도, 공정성, 도메인 특화 맞춤화 측면에서 지속적인 개선을 통해 인공지능 애플리케이션의 향상을 가능하게 하기 위해.
• 확장 가능하고 신뢰할 수 있는 AI 배포를 지원하는 기계학습 개발 프로세스의 성숙도 모델을 수립하기 위해.
• 모든 초기 성숙도 수준에 있는 조직이 실제 경험 기반의 최적 실천 방법을 활용할 수 있도록 제공하기 위해.

제안 방법

• 소프트웨어 능력 성숙도 모델(CMM)을 기계학습 라이프사이클에 적응 적용하기 위해.
• 다섯 단계의 성숙도 수준(초기, 관리됨, 정의됨, 정량적으로 관리됨, 최적화됨)에 걸친 핵심 프로세스 영역 식별하기 위해.
• 사용 사례 정의, 요구사항 번역, 모델 맞춤화 등의 기업용 기계학습 과제를 프로세스 역량으로 매핑하기 위해.
• 다양한 분야에서의 대규모 실무 기계학습 구현 사례에서 유래한 최적 실천 방법 통합하기 위해.
• 각 성숙도 수준에서 정의된 프로세스 목표, 활동, 지표를 포함하는 체계적인 프레임워크 사용하기 위해.
• 지속적인 개선, 피드백 루프, 비즈니스, 데이터 과학, 엔지니어링 팀 간의 교류 협업에 중점을 두기 위해.

실험 결과

연구 질문

• RQ1 기업은 어떻게 기계학습 라이프사이클의 전반적인 프로세스를 체계적으로 관리하여 신뢰할 수 있고 확장 가능한 AI 배포를 보장할 수 있는가?
• RQ2 비즈니스 요구사항을 실행 가능한 데이터 과학 작업으로 번역하기 위해 필요한 프로세스 역량은 무엇인가?
• RQ3 조직은 체계적이고 반복 가능한 프로세스를 통해 모델 정확도와 공정성을 어떻게 향상시킬 수 있는가?
• RQ4 다양한 산업 분야에서 모델 성능을 향상시키는 데 있어 도메인 특화 데이터 맞춤화는 어떤 역할을 하는가?
• RQ5 조직은 어떻게 정의된 성숙도 수준을 거쳐 지속 가능한 기계학습 운영을 달성할 수 있는가?

주요 결과

• 제안된 성숙도 프레임워크는 조직이 초기 능력 수준이 어떠하든 간에 기계학습 개발 프로세스를 평가하고 향상시킬 수 있도록 한다.
• CMM 기반의 수준에 기반한 기계학습 프로세스 매핑은 비즈니스, 데이터 과학, 엔지니어링 팀 간의 프로세스 표준화를 돕는다.
• 초기의 비체계적 프로세스에서 시작하여 최적화된 데이터 기반 운영으로의 명확한 프로세스 진전은 모델의 신뢰성과 유지보수성을 향상시킨다.
• 정의된 피드백 및 측정 메커니즘을 통해 프레임워크는 정확도, 공정성, 도메인 특화 성능 향상에 대한 지속적인 개선을 지원한다.
• 프레임워크를 도입한 조직들은 비즈니스 목표와 기계학습 결과 간의 일치도 향상되었으며, 주기 시간 단축과 더 높은 모델 품질을 기록했다.
• 정의된 수준과 정량적으로 관리되는 수준에서 공정성 및 편향 모니터링을 프로세스 라이프사이클에 통합하는 것은 실현 가능하며 효과적이다.