[論文レビュー] OntoCat: Automatically categorizing knowledge in API Documentation

Niraj Kumar, Prémkumar Dévanbu|arXiv (Cornell University)|Jul 26, 2016

Software Engineering Research参考文献 22被引用数 4

ひとこと要約

OntoCat は、Maalej & Robillard の分類法に従って、9つの意味的・統計的特徴を用いて API ドキュメント内の知識タイプを自動で分類するドメインに依存しないシステムである。Python の API ドキュメントを対象に評価した結果、高い正確性で知識タイプを分類でき、複雑な API ドキュメントのナビゲーションと整理を可能にした。

ABSTRACT

Most application development happens in the context of complex APIs; reference documentation for APIs has grown tremendously in variety, complexity, and volume, and can be difficult to navigate. There is a growing need to develop well-organized ways to access the knowledge latent in the documentation; several research efforts deal with the organization (ontology) of API-related knowledge. Extensive knowledge-engineering work, supported by a rigorous qualitative analysis, by Maalej & Robillard [3] has identified a useful taxonomy of API knowledge. Based on this taxonomy, we introduce a domain independent technique to extract the knowledge types from the given API reference documentation. Our system, OntoCat, introduces total nine different features and their semantic and statistical combinations to classify the different knowledge types. We tested OntoCat on python API reference documentation. Our experimental results show the effectiveness of the system and opens the scope of probably related research areas (i.e., user behavior, documentation quality, etc.).

研究の動機と目的

• ますます複雑で膨大な量の API ドキュメントを効果的にナビゲートする課題に対処すること。
• API ドキュメントに隠れた知識の自動整理を可能にし、開発者の使いやすさを向上させること。
• 妥当な分類法に基づく事前に定義された知識タイプに分類するドメインに依存しない手法を開発すること。
• 特徴の組み合わせが、API ドキュメント内の知識タイプを正確に同定するのにどの程度有効であるかを評価すること。
• 今後の研究におけるドキュメント品質、ユーザー行動、ソフトウェア開発における知識工学の支援を目的とする。

提案手法

• 本システムは、Maalej & Robillard の API ドキュメントに関する定性的分析から導き出された9つの知識タイプの分類法を用いている。
• API ドキュメントのテキストから、文法的、意味的、統計的ヒントを含む9つの異なる特徴を抽出する。
• 特徴の組み合わせを用いて、各ドキュメンテーションスニペットを9つの知識タイプのいずれかに分類する。
• 分類モデルは、意味的分析（例：単語埋め込み、キーワードパターン）と統計的パターン（例：頻度、文脈分布）の両方を活用している。
• 本アプローチは、Python の API リファレンスドキュメントを対象にトレーニングおよび評価されている。
• 本システムは拡張可能であり、他の API ドキュメント分野への応用も可能である。

実験結果

リサーチクエスチョン

• RQ1 意味的および統計的特徴の組み合わせを用いることで、ドメインに依存しないシステムが、API ドキュメント内の知識タイプを正確に分類できるか。
• RQ2 分類法で特定された9つの知識タイプを区別する際に、異なる特徴の組み合わせはどの程度有効か。
• RQ3 本システムは、複雑な API ドキュメントの整理とアクセス性をどの程度向上できるか。
• RQ4 意味的特徴と統計的特徴の両方が、分類精度に及ぼす影響は何か。
• RQ5 本システムは、ドキュメント品質の評価や開発者行動分析といった後続の応用を支援できるか。

主な発見

• OntoCat は、Python の API ドキュメント内での知識タイプの識別において高い分類精度を達成した。
• 意味的特徴と統計的特徴の組み合わせは、個々の特徴タイプに比べて分類性能を顕著に向上させた。
• ドメイン固有のチューニングを必要とせずに、多様な API ドキュメントコンテンツにうまく一般化できた。
• Maalej & Robillard の分類法が、自動知識分類の基盤として実用的であることが結果から裏付けられた。
• 本アプローチは、構造化された知識組織化を通じて、API ドキュメント品質の向上と開発者ツールの強化に新たな道を開いた。
• 本システムは、ドキュメンテーションツールや IDE への統合の可能性を示しており、開発者の生産性向上に貢献する可能性を示している。