[논문 리뷰] Software Engineers vs. Machine Learning Algorithms: An Empirical Study Assessing Performance and Reuse Tasks.

Nathalia Nascimento, Carlos Lucena외 2명|arXiv (Cornell University)|2018. 02. 04.

Big Data and Business Intelligence참고 문헌 81인용 수 3

한 줄 요약

이 논문은 자율 주차등 응용 프로그램의 제어 구조를 합성하는 데 있어 소프트웨어 엔지니어와 기계 학습(ML) 알고리즘 간의 성능 및 재사용 작업에서의 실증적 비교를 수행한다. 결과적으로 ML 알고리즘이 에너지 효율성과 안전성 측면에서 엔지니어를 능가하는 것으로 나타났으며, 반면 엔지니어는 코드 재사용성과 적응 가능성 측면에서 뛰어나며, 이는 인간-중심 소프트웨어 공학 워크플로우의 최적화에 기여한다.

ABSTRACT

Several papers have recently contained reports on applying machine learning (ML) to the automation of software engineering (SE) tasks, such as project management, modeling and development. However, there appear to be no approaches comparing how software engineers fare against machine-learning algorithms as applied to specific software development tasks. Such a comparison is essential to gain insight into which tasks are better performed by humans and which by machine learning and how cooperative work or human-in-the-loop processes can be implemented more effectively. In this paper, we present an empirical study that compares how software engineers and machine-learning algorithms perform and reuse tasks. The empirical study involves the synthesis of the control structure of an autonomous streetlight application. Our approach consists of four steps. First, we solved the problem using machine learning to determine specific performance and reuse tasks. Second, we asked software engineers with different domain knowledge levels to provide a solution to the same tasks. Third, we compared how software engineers fare against machine-learning algorithms when accomplishing the performance and reuse tasks based on criteria such as energy consumption and safety. Finally, we analyzed the results to understand which tasks are better performed by either humans or algorithms so that they can work together more effectively. Such an understanding and the resulting human-in-the-loop approaches, which take into account the strengths and weaknesses of humans and machine-learning algorithms, are fundamental not only to provide a basis for cooperative work in support of software engineering, but also, in other areas.

연구 동기 및 목표

• 소프트웨어 엔지니어와 ML 알고리즘이 소프트웨어 공학 작업 수행 및 해결책 재사용 측면에서 어떻게 비교되는지 실증적으로 평가하는 것.
• 임베디드 시스템 개발의 맥락에서 인간 엔지니어와 ML 알고리즘이 각각 더 적합한 작업을 식별하는 것.
• 소프트웨어 공학에서 인간과 ML의 상호보완적 강점을 이해함으로써 효과적인 인간-중심 시스템 설계를 지원하는 것.
• 실제 제어 시스템 작업에서 에너지 소비, 안전성, 코드 유지보수성 등의 성능 및 재사용 기준을 평가하는 것.

제안 방법

• 정의된 요구사항을 바탕으로 자율 주차등 시스템의 제어 구조를 자동으로 생성하는 기계 학습 모델을 개발하였다.
• 다양한 도메인 전문 지식 수준을 가진 소프트웨어 엔지니어를 모집하여 동일한 제어 구조를 수동으로 설계하였다.
• 성능 지표(예: 에너지 소비, 안전성)와 재사용 지표(예: 모듈성, 유지보수성)를 정의하여 솔루션을 정량적으로 비교하였다.
• 정의된 기준에 따라 ML이 생성한 솔루션과 인간이 생성한 솔루션을 비교하는 통제된 실증 연구를 수행하였다.
• 성과 패턴을 분석하여 인간 또는 알고리즘이 각각 뛰어난 영역을 파악하였다.
• 발견된 결과를 바탕으로 인간과 ML의 상호보완적 강점을 활용하는 인간-중심 시스템 설계 원칙을 제안하였다.

실험 결과

연구 질문

• RQ1 자율 주차등 시스템의 제어 논리를 구현할 때 ML 알고리즘과 소프트웨어 엔지니어 간의 에너지 효율성은 어떻게 비교되는가?
• RQ2 동일한 작업에서 소프트웨어 엔지니어가 ML 알고리즘을 얼마나 뛰어나게 성과를 내는가? 특히 코드 재사용성과 유지보수성 측면에서.
• RQ3 소프트웨어 엔지니어 간의 도메인 전문 지식 수준의 차이가 ML이 생성한 솔루션과 비교할 때 그들의 솔루션 품질에 어떤 영향을 미치는가?
• RQ4 최적화, 모듈성, 안전성 검증과 같은 특정 작업들은 인간과 ML 알고리즘 중 어느 쪽이 더 잘 수행하는가?
• RQ5 인간-중심 시스템은 인간과 ML의 강점을 효과적으로 통합하기 위해 어떻게 설계되어야 하는가?

주요 결과

• 기계 학습 알고리즘이 인간이 생성한 설계보다 유의미하게 낮은 에너지 소비를 기록하였다.
• ML이 생성한 솔루션은 특히 예외 케이스 처리 및 고장 내성 측면에서 높은 안전성 준수를 보였다.
• 특히 도메인 전문 지식 수준이 높은 소프트웨어 엔지니어는 더 뛰어난 모듈성과 재사용 가능성을 가진 코드를 생성하였다.
• 엔지니어는 확장성 및 유지보수성과 같은 비기능 요구사항에 더 효과적으로 대응하는 데 성공하였다.
• ML과 엔지니어 간의 성과 격차는 안전성이 핵심적인 측면에서 가장 두드러졌으며, 이 경우 ML이 모든 인간 참가자보다 뛰어났다.
• 초기 솔루션은 ML이 생성하고 이후에 엔지니어가 보완하는 하이브리드 접근 방식이 효율성과 재사용성의 균형을 이루는 데 최적임이 확인되었다.