[論文レビュー] Resolving API Mentions in Informal Documents

Gias Uddin, Martin P. Robillard|arXiv (Cornell University)|Sep 7, 2017

Software Engineering Research参考文献 27被引用数 5

ひとこと要約

本稿では、ヒューリスティクス、文脈的類似度、構造的手がかり、機械学習を統合することで、曖昧なAPI参照（例：'jackson'）を正しいAPIにリンクする技術ANACEを提示する。名前一致、名詞／動詞ベースの文脈的類似度、コード構造解析を活用することで、同音異義語、類義語、誤った参照の問題を効果的に解決し、ベースライン手法を上回る高い正確性とF1スコアを達成する。

ABSTRACT

Developer forums contain opinions and information related to the usage of APIs. API names in forum posts are often not explicitly linked to their official resources. Automatic linking of an API mention to its official resources can be challenging for various reasons, such as, name overloading. We present a technique, ANACE, to automatically resolve API mentions in the textual contents of forum posts. Given a database of APIs, we first detect all words in a forum post that are potential references to an API. We then use a combination of heuristics and machine learning to eliminate false positives and to link true positives to the actual APIs and their resources.

研究の動機と目的

• 名前が曖昧または文脈的に誤解を招くため、開発者フォーラムにおける非公式なAPI参照を解消する課題に対処すること。
• 名前のオーバーローディング、類義語、同音異義語、誤った参照によって引き起こされる誤検出を減らすこと。
• フォーラムの議論と公式APIリソースとの間のトレーサビリティを向上させることで、参照を正しいAPIエントリにリンクすること。
• ルールベースのヒューリスティクスと機械学習を組み合わせたハイブリッドアプローチを構築し、正確でスケーラブルな解消を実現すること。
• 実世界のフォーラムデータを用いて手法を評価し、同音異義語、類義語、プラットフォーム固有の変種など、多様な曖昧性タイプにおいて有効性を示すこと。

提案手法

• 正確一致、接頭辞一致、およびファジー（ジャカードベース）名前一致を含むパターンマッチングとトークン化を用いて、フォーラム投稿内での潜在的なAPI参照を特定する。
• 文脈的手がかりを捉えるために、3文のウィンドウ内での周囲のテキスト、投稿タイトル、同じスレッド内の他の投稿から特徴的文脈を構築する。
• 公式APIポータルやホームページから、API名で始まる文、それに代名詞で言及する文、依存関係を示す文を抽出することで、候補の記述を生成する。
• ジャカード係数を用いて、トークンの重複度を測定することで、mentionの文脈と候補の記述との間で名詞および動詞ベースの類似度スコアを計算する。
• 参照の周囲に存在するコード要素（クラス、インターフェース）を特定し、タイプの一貫性に基づいてそれらを候補APIにマッチングすることで、構造的類似度を評価する。
• 名前、文脈、構造の類似度スコアに重みを付け、利用頻度とダウンロード数といった人気指標を組み合わせて分類器を学習させ、各mentionに対して最も可能性の高いAPIを予測する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティクスと機械学習を統合したハイブリッドアプローチは、非公式な開発者フォーラム投稿における曖昧なAPI参照をどの程度効果的に解消できるか？
• RQ2 文脈的、構造的、名前ベースの特徴が、単純な名前一致と比較して、API参照解消の正確性をどの程度向上させるか？
• RQ3 同音異義語、類義語、誤った参照などの異なる曖昧性タイプは、解消性能にどのような影響を与えるか？
• RQ4 利用頻度とダウンロード数といった人気指標は、曖昧さが著しい状況でのAPI解消の信頼性を向上させることができるか？
• RQ5 実世界のフォーラムデータにおいて、ANACEはベースライン手法と比較して正確性、再現率、F1スコアの観点でどの程度優れているか？

主な発見

• ANACEは実世界のフォーラム投稿データセットにおいて、87.3%の正確性と85.1%のF1スコアを達成し、ベースライン手法を著しく上回った。
• 名詞および動詞ベースの文脈的類似度の導入により、特に類義語や同音異義語の状況で解消の正確性が顕著に向上した。
• 識別されたコード要素（例：クラス名）に基づく構造的類似度は、類似したAPIを区別する上で有意義な貢献をした。
• ジャカード係数を用いたファジー名前一致は部分一致を効果的に捉え、曖昧な参照における誤検出を減らした。
• 人気指標（利用頻度とダウンロード数）は、文脈スコアが類似している複数の候補があるようなエッジケースの解消に役立った。
• システムはフォーラムスレッド内での真のAPI参照を効果的に特定・強調でき、クライアントサイドのUIにより公式APIページへのリアルタイムリンクを実装した。