[논문 리뷰] Software engineering for artificial intelligence and machine learning software: A systematic literature review

Elizamary Nascimento, Anh Nguyen‐Duc외 2명|arXiv (Cornell University)|2020. 11. 07.

Software Engineering Research참고 문헌 62인용 수 41

한 줄 요약

이 논문은 AI/ML 시스템에 소프트웨어 공학이 어떻게 적용되는지 조사하고, 1990–2019년의 관행, 맥락 및 주요 과제를 식별합니다.

ABSTRACT

Artificial Intelligence (AI) or Machine Learning (ML) systems have been widely adopted as value propositions by companies in all industries in order to create or extend the services and products they offer. However, developing AI/ML systems has presented several engineering problems that are different from those that arise in, non-AI/ML software development. This study aims to investigate how software engineering (SE) has been applied in the development of AI/ML systems and identify challenges and practices that are applicable and determine whether they meet the needs of professionals. Also, we assessed whether these SE practices apply to different contexts, and in which areas they may be applicable. We conducted a systematic review of literature from 1990 to 2019 to (i) understand and summarize the current state of the art in this field and (ii) analyze its limitations and open challenges that will drive future research. Our results show these systems are developed on a lab context or a large company and followed a research-driven development process. The main challenges faced by professionals are in areas of testing, AI software quality, and data management. The contribution types of most of the proposed SE practices are guidelines, lessons learned, and tools.

연구 동기 및 목표

• AI/ML 시스템에 소프트웨어 공학을 적용하는 현재의 최첨단 상태를 이해한다.
• AI/ML 소프트웨어를 위해 제안된 SE 관행, 지침, 교훈 및 도구를 식별한다.
• SE 관행이 적용되는 맥락(실험실 vs. 산업계)을 분석하고 적용 가능성을 평가한다.
• 향후 연구를 이끄는 한계점과 미해결 과제를 강조한다.

제안 방법

• 1990년부터 2019년까지 발표된 AI/ML SE 연구에 대한 체계적 문헌 고찰을 수행한다.
• SE 관행을 지침, 교훈, 또는 도구로 분류하고 요약한다.
• 다양한 환경에서 SE 관행의 맥락과 적용 가능성을 종합한다.
• 향후 연구를 이끌 한계점과 미해결 연구 과제를 식별한다.

실험 결과

연구 질문

• RQ1 AI/ML 소프트웨어 개발을 위해 어떤 SE 관행이 제안되었는가?
• RQ2 이러한 SE 관행은 어떤 맥락(실험실, 산업 등)에서 적용되며 적용 가능성이 얼마나 되는가?
• RQ3 AI/ML 시스템에 SE를 적용할 때 보고된 주요 도전과 한계는 무엇인가?
• RQ4 문헌에서 어떤 유형의 기여(지침, 교훈, 도구)가 지배적인가?
• RQ5 향후 연구가 해결해야 할 격차는 무엇인가?

주요 결과

• AI/ML 시스템은 종종 실험실 맥락이나 대기업 내에서 개발된다.
• 개발은 연구 주도형 프로세스를 따르는 경향이 있다.
• 주요 도전과제로는 테스트, AI 소프트웨어 품질, 데이터 관리가 포함된다.
• 대부분의 제안된 SE 관행은 지침, 교훈, 또는 도구이다.