[논문 리뷰] DeepSoft: A vision for a deep model of software

Hoa Khanh Dam, Truyen Tran외 2명|arXiv (Cornell University)|2016. 07. 30.

Software Engineering Research참고 문헌 15인용 수 4

한 줄 요약

DeepSoft는 수작업 특성 공학 없이 소프트웨어 진화를 모델링하기 위해 Long Short-Term Memory (LSTM) 네트워크 기반의 엔드 투 엔드 딥러닝 프레임워크를 제안한다. 이 프레임워크는 이슈 해결, 코드 변경, 개발자 활동 간의 장기적 시간적 종속성을 포착하여 위험 예측, 코드 패치 추천, 릴리스 계획 지원을 가능하게 하며, 소프트웨어 분석 분야에 일반화 가능하고 확장 가능한 접근 방식을 제공한다.

ABSTRACT

Although software analytics has experienced rapid growth as a research area, it has not yet reached its full potential for wide industrial adoption. Most of the existing work in software analytics still relies heavily on costly manual feature engineering processes, and they mainly address the traditional classification problems, as opposed to predicting future events. We present a vision for \emph{DeepSoft}, an \emph{end-to-end} generic framework for modeling software and its development process to predict future risks and recommend interventions. DeepSoft, partly inspired by human memory, is built upon the powerful deep learning-based Long Short Term Memory architecture that is capable of learning long-term temporal dependencies that occur in software evolution. Such deep learned patterns of software can be used to address a range of challenging problems such as code and task recommendation and prediction. DeepSoft provides a new approach for research into modeling of source code, risk prediction and mitigation, developer modeling, and automatically generating code patches from bug reports.

연구 동기 및 목표

• 수작업 특성 공학의 한계를 해결하기 위해, 이는 시간이 많이 소요되고 프로젝트에 특화되어 있으며 일반화가 어려운 경향이 있다.
• 이슈 설명, 코드 패치, 개발자 역사를 포함한 원시 소프트웨어 공학 데이터에서 수작업 메트릭에 의존하지 않고 엔드 투 엔드 학습을 가능하게 한다.
• 소프트웨어 진화의 장기적 시간적 종속성을 모델링하여, 지연된 릴리스나 버그 유입과 같은 미래의 위험과 사건을 예측하는 데 기여한다.
• 결함 예측, 코드 추천, 릴리스 계획과 같은 다양한 소프트웨어 공학 작업을 위한 통합 프레임워크를 제공한다.
• 고도화된 추론을 지원하는 소프트웨어 아티팩트 및 개발자 행동에 대한 딥 레이어 표현을 도입한다. 예를 들어 유사도 검색, 유추 학습 등이 포함된다.

제안 방법

• 이슈, 코드 변경, 릴리스 간의 장기적 종속성을 포착하기 위해 소프트웨어 개발 이벤트의 시퀀스를 모델링하기 위해 Long Short-Term Memory (LSTM) 네트워크를 활용한다.
• word2vec, paragraph2vec, 또는 CNN과 같은 딥러닝 기반 자연어 처리(NLP) 기법을 사용하여 이슈 설명을 표현하여 자연어에서 조밀한 벡터 표현을 생성한다.
• 코드 패치를 순차적 또는 구조적 표현 방식으로 모델링한다—코드를 문자 시퀀스, 토큰 또는 추상구문트리(Abstract Syntax Trees, ASTs)로 간주하고, LSTM 또는 그래프 기반 CNN을 사용하여 표현을 생성한다.
• 시간 간격이 불규칙한 개발자 활동 시퀀스를 모델링하기 위해 비정규 시간 LSTM(irregular-time LSTM)을 사용한다. 이는 개발자 참여도 및 생산성 모델링에 기여한다.
• 학습된 표현을 기반으로 이슈, 릴리스, 프로젝트 수준에서 계층적 표현을 구성하여 다중 해상도 예측을 지원한다.
• 신경 기계 번역을 영감으로 삼아, 컨텍스트 벡터(이슈 설명에서 유도됨)를 입력으로 받아 해당하는 코드 패치를 생성하는 시퀀스-투-시퀀스 모델을 학습시켜 코드 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 수작업 특성 공학 없이도 원시 데이터에서 소프트웨어 아티팩트(예: 이슈 설명, 코드 패치)에 대한 의미 있는 표현을 직접 학습할 수 있는가?
• RQ2 LSTM 기반 모델은 소프트웨어 진화의 장기적 종속성을 얼마나 잘 포착하여 지연된 릴리스나 버그 유입과 같은 미래의 위험을 예측할 수 있는가?
• RQ3 학습된 표현된 임베딩은 코드 패치 추천, 중복 버그 탐지, API 추천과 같은 고급 작업을 지원할 수 있는가?
• RQ4 모델은 이슈, 릴리스, 프로젝트 수준에서 소프트웨어 품질 진화 및 노력 추정에 얼마나 효과적으로 기여하는가?
• RQ5 개발자 행동은 비정규 시간 시퀀스로 효과적으로 모델링될 수 있는가? 이를 통해 팀 역량 평가 및 트라이징 추천에 기여할 수 있는가?

주요 결과

• DeepSoft는 원시 소프트웨어 공학 데이터에서 엔드 투 엔드 학습을 가능하게 하여, 비용이 많이 들고 프로젝트에 특화된 수작업 특성 공학의 필요성을 제거한다.
• LSTM 기반 아키텍처는 소프트웨어 진화의 장기적 시간적 종속성을 효과적으로 모델링하여 지연된 릴리스나 결함 유입과 같은 미래의 위험 예측에 기여한다.
• 이슈 및 코드 패치의 벡터 표현은 유사도 검색, 유추 추론, 코드 토큰 예측과 같은 고급 추론 작업을 가능하게 한다.
• 이슈 설명을 입력으로 삼고 해당하는 코드 시퀀스를 생성하는 방식으로, 신경 기계 번역을 영감으로 삼아 자동 코드 패치 생성을 지원한다.
• 비정규 시간 LSTM 기반 개발자 모델링을 통해 이력 기반의 생산성, 팀 역량 예측, 지능형 트라이징 추천이 가능해진다.
• DeepSoft는 소프트웨어 시스템의 깊이 있는 맥락 기반 표현을 학습함으로써 결함 예측에서 다음 릴리스 계획에 이르기까지 다양한 소프트웨어 공학 작업을 위한 일반화 가능하고 확장 가능한 기반을 제공한다.