[논문 리뷰] Engineering AI Systems: A Research Agenda

Jan Bosch, Ivica Crnković외 1명|arXiv (Cornell University)|2020. 01. 16.

Big Data and Business Intelligence참고 문헌 12인용 수 14

한 줄 요약

이 논문은 산업 현장 사례 10여 건 이상의 통찰을 바탕으로 기계학습(ML) 구성 요소를 포함하는 AI 시스템을 구축하고 진화시키기 위한 구조적 공학적 접근법을 제안한다. 데이터 품질, 모델 성능, 배포 및 준수와 같은 핵심 과제를 규명하고, 산업적 도입을 위한 AI 공학 분야의 열린 문제를 해결하기 위한 종합적인 연구 계획을 제시한다.

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) are increasingly broadly adopted in industry, However, based on well over a dozen case studies, we have learned that deploying industry-strength, production quality ML models in systems proves to be challenging. Companies experience challenges related to data quality, design methods and processes, performance of models as well as deployment and compliance. We learned that a new, structured engineering approach is required to construct and evolve systems that contain ML/DL components. In this paper, we provide a conceptualization of the typical evolution patterns that companies experience when employing ML as well as an overview of the key problems experienced by the companies that we have studied. The main contribution of the paper is a research agenda for AI engineering that provides an overview of the key engineering challenges surrounding ML solutions and an overview of open items that need to be addressed by the research community at large.

연구 동기 및 목표

• ML 연구와 산업적 배포 간 격차를 해소하기 위해 AI 시스템 공학의 체계적 과제를 규명하기 위해.
• 실제 사례 연구를 바탕으로 기업이 생산 시스템에 ML을 통합할 때 겪는 반복적인 문제를 이해하기 위해.
• 실제 응용 분야에서 신뢰성, 확장성 및 준수를 지원하는 ML 시스템을 위한 체계적 공학 프레임워크를 정의하기 위해.
• 연구 공동체가 우선순위를 정한 계획을 통해 AI 공학 분야의 핵심 열린 문제를 해결하도록 이끌기 위해.
• 산업 현장에서 설계, 배포 및 진화가 가능한 ML 기반 시스템을 위한 체계적 방법 개발을 촉진하기 위해.

제안 방법

• 산업 현장 사례 10여 건 이상의 정성적 분 析를 통해 ML 시스템 개발 및 배포에서 반복되는 과제를 규명한다.
• 프로토타이핑에서 생산 및 유지보수에 이르는 산업 현장에서의 AI 시스템 일반적인 진화 패턴을 개념화한다.
• 데이터 관리, 모델 설계, 성능 모니터링, 배포 파이프라인 및 규제 준수 분야에서 핵심 공학 과제를 식별한다.
• 핵심 주제인 데이터 공학, 모델 라이프사이클 관리, 시스템 아키텍처 및 거버넌스를 중심으로 연구 계획을 제안한다.
• 소프트웨어 공학, 기계학습 및 AI의 통합을 통해 AI 시스템 공학을 위한 다학제적 접근법을 정의한다.
• 산업 경험의 융합을 통해 학술적 ML 연구와 산업 실무 간 격차를 메우는 연구 방향을 우선순위에 따라 정렬한다.

실험 결과

연구 질문

• RQ1 기업들이 생산 시스템에 기계학습 모델을 배포할 때 가장 흔히 겪는 과제는 무엇인가요?
• RQ2 데이터 품질, 모델 성능 및 배포 복잡성이 산업 현장의 AI 시스템 신뢰성 및 유지보수성에 어떤 영향을 미치나요?
• RQ3 소프트웨어 시스템 내 ML 구성 요소의 종단 간 라이프사이클을 지원하기 위해 필요한 체계적 공학 실천은 무엇인가요?
• RQ4 기존 소프트웨어 공학 원칙은 기계학습 구성 요소의 고유한 특성에 맞게 어떻게 적응시킬 수 있나요?
• RQ5 신뢰할 수 있고 확장 가능하며 준수 가능한 산업 환경에서의 AI 시스템을 가능하게 하기 위해 우선순위를 정해야 할 연구 분야는 무엇인가요?

주요 결과

• 기업들은 자주 데이터 품질 문제로 인해 생산 환경에서 모델의 불안정성과 낮은 일반화 성능을 겪는다.
• 개념 드프트와 지속적인 모니터링 및 재학습 파이프라인 부족으로 인해 모델 성능이 시간이 지남에 따라 떨어지는 것이 주요 문제이다.
• 기존 소프트웨어 시스템에 ML 모델을 배포하고 통합하는 것은 종종 일시적인 방식이며, 버전 관리, 테스트 및 CI/CD 지원이 부족하다.
• 모델의 해석 가능성과 감사 가능성 부족으로 인해 GDPR과 같은 규제 준수는 상당한 과제가 된다.
• 기존 소프트웨어 공학을 기계학습 특화 고려사항을 포함하도록 확장하는 체계적 공학 접근법이 산업 규모의 AI 도입을 위해 필수적이다.
• 연구 계획은 데이터 라인리지, 모델 모니터링 및 자동 재학습을 포함한 10개의 핵심 연구 분야를 식별하여 향후 발전에 필수적이라고 밝혔다.