[논문 리뷰] Recommending Relevant Sections from a Webpage about Programming Errors and Exceptions

Mohammad Masudur Rahman, Chanchal K. Roy|arXiv (Cornell University)|2015. 01. 01.

Software Engineering Research참고 문헌 20인용 수 4

한 줄 요약

이 논문은 예외 세부 정보(예: 스택 트레이스 및 관련 코드)를 분석하여 프로그래밍 관련 웹 페이지에서 관련 코드 조각을 추천하는 맥락 인식형, IDE 통합 기법을 제안한다. 이 기법은 새로운 코드 밀도 지표와 콘텐츠 관련성 스코어링을 활용하여 기존 방법보다 뛰어난 성능을 보이며, 유용한 콘텐츠 식별에 대해 정밀도 81.96%, 재현율 76.74%, F1-측정치 76.30%를 달성한다.

ABSTRACT

Programming errors or exceptions are inherent in software development and maintenance, and given today's Internet era, software developers often look at web for finding working solutions. They make use of a search engine for retrieving relevant pages, and then look for the appropriate solutions by manually going through the pages one by one. However, both the manual checking of a page's content against a given exception (and its context) and then working an appropriate solution out are non-trivial tasks. They are even more complex and time-consuming with the bulk of irrelevant (i.e., off-topic) and noisy (e.g., advertisements) content in the web page. In this paper, we propose an IDE-based and context-aware page content recommendation technique that locates and recommends relevant sections from a given web page by exploiting the technical details, in particular, the context of an encountered exception in the IDE. An evaluation with 250 web pages related to 80 programming exceptions, comparison with the only available closely related technique, and a case study involving comparison with VSM and LSA techniques show that the proposed technique is highly promising in terms of precision, recall and F1-measure.

연구 동기 및 목표

• 개발자가 웹 페이지에서 프로그래밍 예외 해결책을 수동으로 검색할 때 정보 과부하 문제를 해결한다.
• 검색 후 분석 과정에서 관련성 없거나 노이즈가 많은 콘텐츠를 스캔하는 데 소요되는 시간과 노력을 줄인다.
• IDE에서 실시간으로 예외 맥락을 기반으로 웹 페이지의 타겟팅된, 관련 있는 섹션 추천을 제공한다.
• 기존 콘텐츠 추출 기법의 한계를 극복한다. 기존 기법들은 노이즈 제거나 도메인 특화 데이터에 집중하지만, 프로그래밍 오류에 대한 관련성에는 초점이 맞춰져 있지 않다.
• 기술적 예외 맥락과 웹 페이지 콘텐츠 분석을 결합한 새로운 접근 방식을 도입하여 정밀도와 재현율을 향상시킨다.

제안 방법

• 예외 관련 쿼리를 기반으로 웹 페이지를 검색하기 위해 Google Search API를 Eclipse IDE에 통합한다.
• 웹 페이지 콘텐츠(문서 객체 모델 트리 파싱을 통한 분석)와 예외 맥락(스택 트레이스 및 주변 코드)을 모두 분석하여 관련 섹션을 식별한다.
• 웹 페이지 내 프로그래밍 콘텐츠를 더 잘 식별하기 위해 '코드 밀도'라는 새로운 지표를 도입한다. 이는 기존의 밀도 지표를 보완한다.
• 코드 밀도, 구조적 특징(예: <pre> 태그 등) 및 예외 맥락의 의미적 신호를 조합한 콘텐츠 관련성 스코어링 모델을 적용한다.
• 해당 섹션이 예외에 대한 관련 해결책을 포함할 가능성이 높다는 것을 고려하여 가중치가 적용된 스코어링 함수를 사용해 섹션을 순위 매긴다.
• Eclipse 플러그인으로 구현된 ContentSuggest라는 이름의 도구를 통해, 추천된 섹션을 IDE 내에서 직접 시각화하고 강조 표시한다.

실험 결과

연구 질문

• RQ1 IDE 예외 세부 정보를 활용하는 맥락 인식 기법이 프로그래밍 관련 웹 페이지에서 관련 섹션 추천의 정밀도와 재현율을 향상시킬 수 있는가?
• RQ2 제안된 코드 밀도 지표는 기존의 밀도 지표에 비해 웹 페이지에서 관련 프로그래밍 콘텐츠를 추출하는 데 얼마나 더 효과적인가?
• RQ3 예외 맥락(스택 트레이스 및 코드)을 통합할 경우, 콘텐츠 전용 접근 방식에 비해 섹션 추천 정확도가 얼마나 향상되는가?
• RQ4 제안된 기법은 스택 오버플로우에서 관련 답변을 식별하는 데 있어 VSM 및 LSA와 같은 최신 추적 기법에 비해 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 웹 페이지에서 관련성 없는 또는 노이즈가 많은 콘텐츠를 수동으로 스캔하는 데 드는 개발자의 노고를 줄일 수 있는가?

주요 결과

• 제안된 기법은 250개의 웹 페이지와 80개의 프로그래밍 예외에 대해 평균 정밀도 81.96%, 재현율 76.74%, F1-측정치 76.30%를 달성한다.
• 이 기법은 유사한 기존 방법(선 등 [22])보다 모든 성능 지표에서 유의미하게 뛰어나며, 섹션 추천의 정확도가 뛰어나다는 것을 입증한다.
• 35개의 스택 오버플로우 웹 페이지에 대한 사례 연구에서, 기법의 관련성 스코어는 상위 투표를 받은 답변과 매우 유사하게 나타나, 커뮤니티가 인정한 해결책과 강한 일치를 보였다.
• 코드 밀도 지표를 도입함으로써 일반 목적의 밀도 지표에 비해 프로그래밍 관련 콘텐츠 식별 능력이 크게 향상됨을 확인하였다.
• 전문 개발 경험을 가진 3명을 포함한 5명의 참가자로 구성된 제한된 사용자 연구에서, 강력한 실용성 인식이 있었으며, 모든 참가자가 실제 디버깅 상황에서 이 기법이 유용할 것으로 평가했다.
• 이 기법은 주어진 예외에 대해 웹 페이지에 관련 콘텐츠가 전혀 없는 경우를 성공적으로 식별하여, 개발자의 잘못된 기대와 검색 피로를 줄였다.