[논문 리뷰] GitHub open source project recommendation system

Tadej Matek, Svit Timej Zebec|arXiv (Cornell University)|2016. 02. 08.

Complex Network Analysis Techniques참고 문헌 17인용 수 11

한 줄 요약

이 논문은 이원 그래프 형태의 사용자-프로젝트 협업 네트워크에서 링크 예측을 이용한 GitHub 오픈소스 프로젝트 추천 시스템을 제안한다. 국소적 유사도 측정법, 내부 링크 예측, 공동체 기반 링크 예측을 평가한 결과, 공동체 기반 방법이 0.90의 최고 AUC를 기록하여 사용자 간 공동체 소속 관계를 바탕으로 관련 프로젝트를 추천하는 데 가장 효과적임을 확인하였다.

ABSTRACT

Hosting platforms for software projects can form collaborative social networks and a prime example of this is GitHub which is arguably the most popular platform of this kind. An open source project recommendation system could be a major feature for a platform like GitHub, enabling its users to find relevant projects in a fast and simple manner. We perform network analysis on a constructed graph based on GitHub data and present a recommendation system that uses link prediction.

연구 동기 및 목표

• 네트워크 분석을 활용한 GitHub 오픈소스 프로젝트 추천 시스템을 개발하기 위해.
• 다양한 링크 예측 방법이 GitHub 협업 네트워크 내 관련 프로젝트-사용자 관계를 식별하는 데 얼마나 효과적인지 평가하기 위해.
• 국소적 유사도, 내부 링크, 공동체 기반 예측 중 어느 방법이 GitHub 협업 네트워크에서 프로젝트의 관련성을 가장 잘 포착하는지 규명하기 위해.
• GitHub 네트워크의 공동체 구조가 국소적 노드 유사성 외에도 추천 정확도 향상에 기여하는지 평가하기 위해.

제안 방법

• 사용자와 프로젝트를 두 개의 상호 배타적인 노드 집합으로 구성한 이원 그래프를 구축하며, 사용자가 프로젝트에 기여한 경우 간선으로 연결한다.
• 다양한 국소적 유사도 측정법(예: 자카르드, 아다믹-아다르, 선호적 연결)을 적용하여 사용자와 프로젝트 간의 누락된 링크를 예측한다.
• 사용자로부터 두 번째 단계 떨어진 노드까지 포함하는 확장된 이웃 표현을 사용하여 이웃의 맥락을 향상시킨다.
• 공통 이웃 기반의 내부 링크 표현을 구현하지만, 네트워크의 희소성으로 인해 효과가 없음을 입증한다.
• 가장 큰 연결된 구성요소에서 공동체 탐지에 인포맵 알고리즘을 적용한다.
• 공동체 기반 링크 예측을 구현하며, 동일한 공동체에 속한 사용자는 유사한 프로젝트에 더 높은 가능도로 협업할 가능성이 있다.

실험 결과

연구 질문

• RQ1 국소적 유사도 측정법은 GitHub 협업 네트워크에서 새로운 프로젝트 기여를 효과적으로 예측할 수 있는가?
• RQ2 공통 이웃 기반의 내부 링크 표현은 링크 예측 성능을 향상시키는가?
• RQ3 GitHub 네트워크의 공동체 구조는 프로젝트 추천 정확도 향상에 어느 정도 기여하는가?
• RQ4 공동체 기반 링크 예측의 성능은 전통적인 국소적 유사도 측정법과 비교해 어떻게 다른가?

주요 결과

• 확장된 이웃 표현을 사용할 경우 국소적 유사도 측정법의 최대 AUC는 0.72를 기록하여 중간 정도의 예측 능력을 보였다.
• 내부 링크 예측은 AUC가 0.50에 그쳐 예측 능력이 없음을 입증하였으며, 이는 네트워크의 공통 이웃이 희소하기 때문이었다.
• 국소 측정법의 가중 조합은 AUC 0.89를 기록했지만, 이 결과는 전체 GitHub 네트워크에 일반화되기 어렵다.
• 공동체 기반 링크 예측은 최고의 AUC 0.90을 기록하여 모든 다른 방법을 능가했다.
• GitHub 네트워크 내 강력하고 유기적인 공동체의 형성이 공동체 기반 예측의 뛰어난 성능을 설명한다.
• 결과적으로 공동체 소속 관계가 국소적 노드 유사성보다 프로젝트 관련성 예측에 더 신뢰할 수 있는 예측 변수임을 시사한다.