[論文レビュー] Recommending Relevant Sections from a Webpage about Programming Errors and Exceptions

Mohammad Masudur Rahman, Chanchal K. Roy|arXiv (Cornell University)|Jan 1, 2015

Software Engineering Research参考文献 20被引用数 4

ひとこと要約

本論文は、例外の詳細（例：スタックトレースや周辺コード）を分析することで、プログラミング関連のWebページから関連するコード断片を推奨する、コンテキストに配慮したIDE統合手法を提案する。本手法は、新規のコード密度指標とコンテンツの関連性スコアリングを活用することで、既存手法を上回り、有益なコンテンツを特定する精度（81.96%）、再現率（76.74%）、F1スコア（76.30%）を達成した。

ABSTRACT

Programming errors or exceptions are inherent in software development and maintenance, and given today's Internet era, software developers often look at web for finding working solutions. They make use of a search engine for retrieving relevant pages, and then look for the appropriate solutions by manually going through the pages one by one. However, both the manual checking of a page's content against a given exception (and its context) and then working an appropriate solution out are non-trivial tasks. They are even more complex and time-consuming with the bulk of irrelevant (i.e., off-topic) and noisy (e.g., advertisements) content in the web page. In this paper, we propose an IDE-based and context-aware page content recommendation technique that locates and recommends relevant sections from a given web page by exploiting the technical details, in particular, the context of an encountered exception in the IDE. An evaluation with 250 web pages related to 80 programming exceptions, comparison with the only available closely related technique, and a case study involving comparison with VSM and LSA techniques show that the proposed technique is highly promising in terms of precision, recall and F1-measure.

研究の動機と目的

• 開発者がWebページでプログラミング例外の解決策を手動で検索する際の情報過多の課題に対処すること。
• 検索後の分析段階で、関係のないまたはノイズが多いコンテンツをスキャンするために費やす時間と労力を削減すること。
• IDEから得られるリアルタイムの例外コンテキストに基づいて、Webページからのターゲット化された関連セクションの推薦を提供すること。
• ノイズ除去やドメイン固有のデータに焦点を当てているが、プログラミングエラーへの関連性を考慮しない既存のコンテンツ抽出手法の限界を克服すること。
• 技術的例外コンテキストとWebページコンテンツ分析を組み合わせた、精度と再現率の向上を図る新規なコンテンツ推薦アプローチを導入すること。

提案手法

• Google Search APIをEclipse IDEに統合し、例外関連のクエリに基づいてWebページを取得する。
• Webページのコンテンツ（DOMツリーの解析を介して）と例外コンテキスト（スタックトレースおよび周辺コード）の両方を分析して、関連するセクションを同定する。
• Webページにおけるプログラミングコンテンツをよりよく同定するために、新規の指標「コード密度」を導入し、既存の密度指標を補完する。
• コード密度、構造的特徴（例：`<pre>`タグ）および例外コンテキストからの意味的ヒントを組み合わせたコンテンツ関連性スコアリングモデルを適用する。
• 関連する解決策を含む可能性の高いセクションをランキングするための重み付きスコア関数を用いる。
• Eclipseプラグインとして実装された「ContentSuggest」により、IDE内ですぐに可視化され、強調表示される推奨セクションを提供する。

実験結果

リサーチクエスチョン

• RQ1 IDEの例外コンテキストを活用するコンテキストに配慮した手法は、プログラミング関連のWebページにおける関連セクション推薦の精度と再現率を向上させることができるか？
• RQ2 提案されたコード密度指標は、既存の密度指標と比較して、Webページからの関連するプログラミングコンテンツ抽出においてどのように優れているか？
• RQ3 スタックトレースおよびコードといった例外コンテキストの統合は、コンテンツのみに依存するアプローチと比較して、セクション推薦の正確性をどの程度向上させるか？
• RQ4 VSM や LSA といった最先端のトレーサビリティ手法と比較して、本手法はStack Overflowにおける関連する回答を特定する上でどの程度優れているか？
• RQ5 ノイズが多いまたは関係のないコンテンツの手動スキャンを最小限に抑えることで、開発者が解決策を特定するための作業負荷を軽減できるか？

主な発見

• 本手法は、250のWebページおよび80件のプログラミング例外を対象に平均して、精度81.96%、再現率76.74%、F1スコア76.30%を達成した。
• 本手法は、唯一類似した既存手法（Sunら[22]）をすべての性能指標で顕著に上回り、セクション推薦の精度が優れていることを示した。
• 35件のStack Overflowページを対象としたケーススタディでは、本手法の関連性スコアが上位投票の回答と強く一致しており、コミュニティが認めている解決策と良好に一致していることを示した。
• コード密度という指標の導入により、汎用的密度指標と比較して、プログラミング関連コンテンツの同定が著しく向上した。
• 5名の参加者（うち3名はプロの開発経験あり）による限定的なユーザースタディでは、強力な実用的価値が認識され、全員が実際のデバッグ作業において本手法が役立つ可能性が高いと評価した。
• 本手法は、特定の例外に対して関連するコンテンツが存在しないWebページを正しく同定できており、開発者の誤った期待や検索疲れを軽減した。