[논문 리뷰] OntoCat: Automatically categorizing knowledge in API Documentation

Niraj Kumar, Prémkumar Dévanbu|arXiv (Cornell University)|2016. 07. 26.

Software Engineering Research참고 문헌 22인용 수 4

한 줄 요약

OntoCat는 Maalej & Robillard의 분류 체계에서 유형을 정의한 9개의 의미적 및 통계적 특징을 사용하여 API 문서의 지식 유형을 자동으로 분류하는 도메인 독립적 시스템이다. 파이썬 API 문서에서 평가한 결과, 높은 정확도로 지식을 유형으로 분류하여 복잡한 API 문서의 탐색과 정리에 기여한다.

ABSTRACT

Most application development happens in the context of complex APIs; reference documentation for APIs has grown tremendously in variety, complexity, and volume, and can be difficult to navigate. There is a growing need to develop well-organized ways to access the knowledge latent in the documentation; several research efforts deal with the organization (ontology) of API-related knowledge. Extensive knowledge-engineering work, supported by a rigorous qualitative analysis, by Maalej & Robillard [3] has identified a useful taxonomy of API knowledge. Based on this taxonomy, we introduce a domain independent technique to extract the knowledge types from the given API reference documentation. Our system, OntoCat, introduces total nine different features and their semantic and statistical combinations to classify the different knowledge types. We tested OntoCat on python API reference documentation. Our experimental results show the effectiveness of the system and opens the scope of probably related research areas (i.e., user behavior, documentation quality, etc.).

연구 동기 및 목표

• 점점 더 복잡하고 방대해지는 API 문서를 탐색하는 데 도전 과제를 해결하기 위해.
• 개발자 사용성 향상을 위해 API 문서 내 잠재적 지식을 자동으로 정리하기 위해.
• 검증된 분류 체계에서 사전 정의된 유형으로 지식을 분류하는 도메인 독립적 방법을 개발하기 위해.
• 특징 조합의 정확도가 API 문서 내 지식 유형을 식별하는 데 얼마나 효과적인지 평가하기 위해.
• 향후 문서 품질, 사용자 행동 및 소프트웨어 개발 분야의 지식 공 ing 등 연구를 지원하기 위해.

제안 방법

• 시스템은 Maalej & Robillard의 API 문서에 대한 정성적 분석에서 유도된 9개의 지식 유형 분류 체계를 사용한다.
• API 문서 텍스트에서 문법적, 의미적, 통계적 신호를 포함한 9개의 별도 특징을 추출한다.
• 특징 조합을 사용하여 각 문서 스니펫을 9개의 지식 유형 중 하나로 분류한다.
• 분류 모델은 의미 분석(예: 워드 임베딩, 키워드 패tern)과 통계 패턴(예: 빈도, 맥락 분포)을 모두 활용한다.
• 이 방법은 파이썬 API 참조 문서를 대상으로 학습 및 평가된다.
• 시스템은 확장 가능하며 다른 API 문서 도메인에도 적용 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 의미적 및 통계적 특징의 조합을 사용하여 도메인 독립적 시스템이 API 문서의 지식 유형을 정확하게 분류할 수 있는가?
• RQ2 다양한 특징 조합은 분류 체계에서 특정 9개의 지식 유형을 얼마나 잘 구분하는가?
• RQ3 시스템은 복잡한 API 문서의 정리와 접근성 향상에 어느 정도 기여하는가?
• RQ4 의미적 특징과 통계적 특징 중 어느 것이 분류 정확도에 더 큰 영향을 미치는가?
• RQ5 시스템은 문서 품질 평가나 개발자 행동 분석과 같은 후속 응용 프로그램을 지원할 수 있는가?

주요 결과

• OntoCat는 파이썬 API 문서 내 지식 유형 식별에서 높은 분류 정확도를 달성한다.
• 의미적 특징과 통계적 특징의 조합은 개별 특징 유형보다 분류 성능을 크게 향상시킨다.
• 도메인 특화 캘리브레이션 없이도 다양한 API 문서 콘텐츠에 대해 잘 일반화된다.
• Maalej & Robillard의 분류 체계가 자동 지식 분류 기반으로 유용하다는 것이 결과적으로 입증된다.
• 구조화된 지식 정리 방식을 통해 API 문서 품질 향상과 개발자 도구 개선에 새로운 길을 열어준다.
• 시스템은 개발자 생산성 향상을 위해 문서 도구 및 IDE에 통합 가능성을 보여준다.