[논문 리뷰] Machine Learning Software Engineering in Practice: An Industrial Case Study

Md Saidur Rahman, Emilio Rivera외 3명|arXiv (Cornell University)|2019. 06. 17.

Big Data and Business Intelligence참고 문헌 14인용 수 31

한 줄 요약

이 산업 사례 연구는 SAP와 폴리테크니크 몬트리올 간의 민첩하고 협업적인 프레임워크를 활용하여 대규모 유통 거래 데이터의 오류를 자동으로 탐지하고 수정하기 위한 기계학습 접근법을 제시한다. 연구는 기계학습 소프트웨어 공학 분야에서의 핵심 과제를 규명하고 산업-학계 협력에 있어 실천 가능한 지침을 제공한다.

ABSTRACT

SAP is the market leader in enterprise software offering an end-to-end suite of applications and services to enable their customers worldwide to operate their business. Especially, retail customers of SAP deal with millions of sales transactions for their day-to-day business. Transactions are created during retail sales at the point of sale (POS) terminals and then sent to some central servers for validations and other business operations. A considerable proportion of the retail transactions may have inconsistencies due to many technical and human errors. SAP provides an automated process for error detection but still requires a manual process by dedicated employees using workbench software for correction. However, manual corrections of these errors are time-consuming, labor-intensive, and may lead to further errors due to incorrect modifications. This is not only a performance overhead on the customers' business workflow but it also incurs high operational costs. Thus, automated detection and correction of transaction errors are very important regarding their potential business values and the improvement in the business workflow. In this paper, we present an industrial case study where we apply machine learning (ML) to automatically detect transaction errors and propose corrections. We identify and discuss the challenges that we faced during this collaborative research and development project, from three distinct perspectives: Software Engineering, Machine Learning, and industry-academia collaboration. We report on our experience and insights from the project with guidelines for the identified challenges. We believe that our findings and recommendations can help researchers and practitioners embarking into similar endeavors.

연구 동기 및 목표

• SAP의 기업용 유통 시스템에서 수작업으로 오류를 수정하는 데 발생하는 높은 운영 비용과 비효율성을 해결하기 위해.
• 거래 검증 프로세스에서 수작업 간섭으로 인한 업무 흐름 방해와 오류 확산을 줄이기 위해.
• 실시간 거래 일관성 문제를 자동으로 탐지하고 수정하기 위한 자동화되고 확장 가능한 기계학습 파이프라인을 개발하기 위해.
• 산업-학계 협력 내에서 기계학습 기반 소프트웨어 공학에 걸치는 주요 과제를 식별하고 문서화하기 위해.
• 유지보수성, 데이터 프라이버시, 팀 협업을 중점으로 산업 소프트웨어 개발에 기계학습을 통합하기 위한 실용적 지침을 제공하기 위해.

제안 방법

• 역사적 유통 거래 데이터를 기반으로 지도 학습을 적용하여 이면과 일관성 없는 사항을 탐지하기 위해.
• 데이터 수신, 전처리, 특징 공학, 모델 훈련, 생산 환경 배포를 포함한 종단 간 기계학습 파이프라인을 설계하기 위해.
• 협업 환경에서 반복적 개발과 지속적 통합을 지원하기 위해 민첩한 개발 방법론(예: SCRUM)을 채택하기 위해.
• 훈련된 모델을 활용해 탐지된 오류에 대한 수정 권고를 제안하는 보완 시스템을 구현하기 위해.
• 기업 표준을 준수하고 기밀성을 확보하기 위해 안전한 데이터 처리 프로토콜을 수립하기 위해.
• 학계 연구자들과 산업 엔지니어 간 정기적인 팀 동기화를 통해 목표를 조율하고 지식 격차를 해소하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 기계학습이 엔터프라이즈 거래 처리 시스템에 효과적으로 통합되어 오류 탐지 및 수정을 자동화할 수 있는가?
• RQ2 산업과 학계 간 협업을 통해 기계학습 기반 소프트웨어 구성 요소를 개발할 때 발생하는 핵심 과제는 무엇인가?
• RQ3 소프트웨어 공학 관행, 기계학습 워크플로우, 기관 문화의 차이가 개발 생애 주기에 어떤 영향을 미치는가?
• RQ4 기계학습 기반 산업 연구개발 프로젝트에서 협업과 지식 이관을 향상시키기 위한 기술적 및 조직 전략은 무엇인가?
• RQ5 임무 핵심 기업 소프트웨어에 기계학습을 실제 구현한 사례에서 유도할 수 있는 최선의 실천 방법은 무엇인가?

주요 결과

• 기계학습 파이프라인이 수작업 오류 수정 노력에 상당한 감소를 이끌어내어 시스템 처리 능력 향상과 운영 비용 감소를 달성했다.
• 민첩한 개발 방법론이 산업 환경에서 기계학습 개발의 반복적이고 진화하는 성격을 효과적으로 관리하는 데 유용함을 입증했다.
• 데이터 품질, 모델 해석 가능성, 레거시 엔터프라이즈 시스템과의 통합에서 핵심 과제가 드러났다.
• 학계와 산업 간 전문 관행과 기관 문화의 차이로 인해 의도적인 조율과 커뮤니케이션 전략이 필요했다.
• 데이터 프라이버시 및 보안 제약 조건이 데이터 접근, 처리, 모델 훈련 워크플로우에 상당한 영향을 미쳤다.
• 정기적인 지식 이관 세션과 공동 기획 세션은 도메인 이해력과 기술적 기대의 격차를 메우는 데 핵심적이었다.