[논문 리뷰] A Survey on Deep Learning for Software Engineering

Yanming Yang, Xin Xia외 2명|arXiv (Cornell University)|2020. 11. 30.

Software Engineering Research참고 문헌 144인용 수 6

한 줄 요약

이 종합 검토는 2006년 이후 142篇의 연구를 대상으로 소프트웨어 공학(Software Engineering, SE) 분야에서의 딥러닝(Deep Learning, DL) 응용에 대한 포괄적인 분석을 제공한다. DL 기법을 분류하고, 모델 학습 및 최적화를 분석하며, SE 분야에서의 DL 연구 주제, 과제, 향후 방향성을 규명한다. 특히 설명 가능성, 실세계 데이터, 전통적 방법과의 비교 평가의 필요성을 강조한다.

ABSTRACT

In 2006, Geoffrey Hinton proposed the concept of training ''Deep Neural Networks (DNNs)'' and an improved model training method to break the bottleneck of neural network development. More recently, the introduction of AlphaGo in 2016 demonstrated the powerful learning ability of deep learning and its enormous potential. Deep learning has been increasingly used to develop state-of-the-art software engineering (SE) research tools due to its ability to boost performance for various SE tasks. There are many factors, e.g., deep learning model selection, internal structure differences, and model optimization techniques, that may have an impact on the performance of DNNs applied in SE. Few works to date focus on summarizing, classifying, and analyzing the application of deep learning techniques in SE. To fill this gap, we performed a survey to analyse the relevant studies published since 2006. We first provide an example to illustrate how deep learning techniques are used in SE. We then summarize and classify different deep learning techniques used in SE. We analyzed key optimization technologies used in these deep learning models, and finally describe a range of key research topics using DNNs in SE. Based on our findings, we present a set of current challenges remaining to be investigated and outline a proposed research road map highlighting key opportunities for future work.

연구 동기 및 목표

• 2006년 이후 소프트웨어 공학 분야에서의 딥러닝 응용을 체계적으로 검토하고 분류하기.
• SE 작업에 사용된 딥 신경망(Deep Neural Networks, DNNs)의 설계, 학습, 최적화를 분석하기.
• 다양한 소프트웨어 공학 활동에 걸쳐 딥러닝을 통한 SE 연구 주제와 추세를 규명하기.
• 설명 불가능성, 공개 데이터셋에 대한 의존성, 산업 데이터 기반 평가 부족 등의 현재 과제를 부각하기.
• 실세계 적용 가능성과 전통적 기법 대비 성능 비교를 중점으로 향후 연구 로드맵 제안하기.

제안 방법

• 2006년 이후 21개 주요 SE 학술지 및 컫퍼런스(컨퍼런스, 저널)에서 출판된 142편의 주요 연구를 대상으로 체계적 문헌 리뷰(Systematic Literature Review, SLR)를 수행하였다.
• 아키텍처(예: RNN, CNN, FNN), 모델 선택 전략, 최적화 기법을 기반으로 DL 기법을 분류하였다.
• 딥러닝 기반 SE 도구에서의 데이터 수집, 전처리, 모델 학습, 평가 관행을 분석하였다.
• DL 응용을 6개의 SE 활동과 23개의 특정 SE 작업(예: 결함 예측, 코드 생성, 테스트 케이스 생성)에 매핑하였다.
• 모델 해석 가능성, 데이터 의존성, 실세계 검증의 한계에 대한 주제 분석을 통해 반복적인 과제를 규명하였다.
• 발견된 격차를 바탕으로 연구 로드맵을 제안하였으며, 산업 데이터, 설명 가능한 AI, 전통적 SE 기법과의 실험적 비교의 필요성을 포함한다.

실험 결과

연구 질문

• RQ1 소프트웨어 공학 연구에서 가장 흔하게 사용되는 딥러닝 아키텍처와 기법은 무엇인가?
• RQ2 SE 응용에서 딥 신경망은 어떻게 학습되고 최적화되며, 주요 데이터 및 평가 관행은 무엇인가?
• RQ3 딥러닝을 활용해 다루어진 특정 소프트웨어 공학 작업은 무엇이며, SE 활동 전반에 걸쳐 어떻게 분포되어 있는가?
• RQ4 실세계 SE 문제에 딥러닝을 적용할 때의 주요 과제와 제약 조건은 무엇인가?
• RQ5 딥러닝 모델은 SE 작업에서 전통적 머신러닝 또는 규칙 기반 접근 방식과 비교해 성능 면에서 어떻게 다를까?

주요 결과

• RNN, CNN, 피드포워드 신경망(Feedforward Neural Networks, FNN)은 SE 분야에서 가장 널리 사용되는 딥러닝 아키텍처이며, 142편의 연구에서 총 30종의 DNN이 확인되었다.
• 학습 및 평가에 산업 데이터셋을 사용한 연구는 전부 4%에 불과하여 학술 연구와 실세계 SE 실천 간 격차가 뚜렷하다.
• 대부분의 연구가 공개된 오픈소스 데이터셋(특히 코드 클론 검출 및 결함 예측 분야에서)에 의존하고 있어 데이터의 대표성과 일반화 능력에 대한 우려가 제기된다.
• 딥 신경망의 '블랙박스' 성격은 SE 분야에서의 도입을 제한하며, 설명 불가능성으로 인해 소프트웨어 엔지니어의 신뢰도와 디버깅 능력이 저하된다.
• 딥러닝과 전통적 머신러닝 기법 간의 실험적 비교가 부족하여, 딥러닝이 실질적인 성능 우월성을 제공하는 조건에 대해 여전히 미해결 문제로 남아 있다.
• 향후 연구는 설명 가능한 AI, 데이터 효율적 학습(예: 메타러닝), 산업 데이터 기반 검증을 우선순위로 삼아 실용적 관련성을 높여야 한다.