[논문 리뷰] Bellwethers: A Baseline Method For Transfer Learning

Rahul Krishna, Tim Menzies|arXiv (Cornell University)|2017. 03. 17.

Software Engineering Research참고 문헌 101인용 수 6

한 줄 요약

이 논문은 소프트웨어 공학 분야의 전이 학습을 위한 단순하고 효과적인 기준으로, 다른 프로젝트 전반에서 일관되게 가장 높은 예측 성능을 내는 프로젝트인 벨위터(bellwethers)를 제안한다. 데이터셋을 순회하는 for-루프를 통해 단일 우수한 프로젝트를 식별함으로써, 이 벨위터 방법은 결함 예측, 노력 추정, 악취미 탐지, 이슈 수명 주기 예측 등 다양한 과제에서 최첨단 전이 학습 기법과 유사한 성능을 달성한다.

ABSTRACT

Software analytics builds quality prediction models for software projects. Experience shows that (a) the more projects studied, the more varied are the conclusions; and (b) project managers lose faith in the results of software analytics if those results keep changing. To reduce this conclusion instability, we propose the use of "bellwethers": given N projects from a community the bellwether is the project whose data yields the best predictions on all others. The bellwethers offer a way to mitigate conclusion instability because conclusions about a community are stable as long as this bellwether continues as the best oracle. Bellwethers are also simple to discover (just wrap a for-loop around standard data miners). When compared to other transfer learning methods (TCA+, transfer Naive Bayes, value cognitive boosting), using just the bellwether data to construct a simple transfer learner yields comparable predictions. Further, bellwethers appear in many SE tasks such as defect prediction, effort estimation, and bad smell detection. We hence recommend using bellwethers as a baseline method for transfer learning against which future work should be compared

연구 동기 및 목표

• 예측 결과가 프로젝트 간에 크게 달라져 관리자 신뢰를 저해하는 소프트웨어 분석의 결론 불안정성 문제를 해결한다.
• 단일 안정적인 프로젝트(벨위터)를 식별함으로써 예측 결과의 변화 속도를 줄이고, 공동체 내 모든 프로젝트에서 결과를 안정적으로 예측할 수 있도록 한다.
• 복잡한 최첨단 기법들과 경쟁하거나 승승을 거두는 단순하고 보편적으로 적용 가능한 전이 학습 기준 방법을 확립한다.
• 결함 예측, 노력 추정, 코드 악취미 탐지 등 다양한 소프트웨어 공학 과제에서 벨위터 방법의 일반성과 강건성을 입증한다.
• 미래의 전이 학습 연구를 위한 실용적이고 저복잡도의 기준을 제공하여 안정적이고 해석 가능한 기준과의 비교를 장려한다.

제안 방법

• 표준 데이터 마이너(예: 랜덤 포레스트)를 사용해 N개의 프로젝트에 대해 for-루프를 돌면서 각 프로젝트의 예측 성능을 나머지 모든 프로젝트에서 평가함으로써 벨위터 프로젝트를 식별한다.
• 선택된 벨위터 프로젝트의 데이터를 사용해 다른 프로젝트의 결과를 예측하기 위한 단일 전이 학습기(예: 랜덤 포레스트)를 훈련시킨다.
• 벨위터 방법을 결함 예측, 노력 추정, 이슈 종료 시간, 악취미 탐지(God Class, Feature Envy) 등 다양한 소프트웨어 공학 과제에 적용한다.
• 벨위터 방법의 성능을 고급 전이 학습 기법들인 TCA+, 전이 나이브 베이즈, 값인지능력 강화 기법과 비교한다.
• 랜덤성 영향을 줄이고 안정적인 성능 추정을 확보하기 위해 랜덤 포레스트와 SMOTE를 사용해 30회 반복 실행한다.
• 성능 평가에 단일 지표인 G(식 2)를 사용하며, 복제 팩키지에 추가 측정 지표가 포함되어 있다.

실험 결과

연구 질문

• RQ1 모든 다른 프로젝트에서 예측 성능이 뛰어난 안정적인 오라클 역할을 할 수 있는 단일 프로젝트가 공동체 내에 존재하는가?
• RQ2 벨위터 방법은 다양한 소프트웨어 공학 과제에서 복잡한 최첨단 전이 학습 알고리즘과 유사한 예측 성능을 달성할 수 있는가?
• RQ3 정확도와 안정성 측면에서, 유사도 기반 및 차원 축소 기반 전이 학습 접근법과 비교해 벨위터 방법은 어떠한가?
• RQ4 벨위터 효과는 파일, 클래스, 메서드 등 다양한 군집 수준과 다양한 소프트웨어 공학 하위 분야에서 일관되게 나타나는가?
• RQ5 벨위터 방법은 향후 소프트웨어 공학 분야의 전이 학습 연구를 위한 신뢰할 수 있고 단순한 기준이 될 수 있는가?

주요 결과

• 벨위터 효과는 결함 예측, 노력 추정, 이슈 수명 주기 예측, 악취미 탐지 등 다양한 소프트웨어 공학 과제에서 존재한다.
• 벨위터 방법은 TCA+, 전이 나이브 베이즈, 값인지능력 강화 기법과 같은 고급 전이 학습 기법과 유사한 예측 성능을 달성한다.
• 벨위터 방법은 구현이 매우 단순하여 표준 데이터 마이너를 감싸는 for-루프만으로도 구현 가능하므로, 접근성과 효율성이 매우 높다.
• 예측 결과가 동일한 벨위터 프로젝트가 항상 최고 성능을 내는 한, 결과가 일관되므로 안정적인 결론을 도출한다.
• 원천 및 대상 프로젝트가 동일한 속성을 공유하는 동종 전이 학습 환경에서는, 벨위터 방법이 더 복잡한 전이 학습 접근법보다 성능이 뛰어나거나 동등하다.
• 이질적 전이 학습(다른 속성 세트)의 경우, 벨위터 효과가 다소 확립되어 있지 않기 때문에, 저자들은 차원 축소 기법을 권장한다.