[論文レビュー] Semantic Jira - Semantic Expert Finder in the Bug Tracking Tool Jira

Velten Heyn, Adrian Paschke|arXiv (Cornell University)|Jan 1, 2013

Scientific Computing and Data Management参考文献 5被引用数 2

ひとこと要約

Semantic Jira は、tf-idf とオントロジー上の類似性を用いて類似チケットを自動的に特定する統合型の意味的エキスパート推薦システムを Jira バグ追跡ツールに統合したものである。このシステムは、関連するエキスパートと関連 Wiki 知識を推薦する。エキスパート推薦において 82.7% のリCALLを達成し、トップ10の結果内に 88.6% のエキスパートが含まれており、ソフトウェアプロジェクトにおける重複作業の削減と知識再利用の向上に顕著な効果を示している。

ABSTRACT

The semantic expert recommender extension for the Jira bug tracking system semantically searches for similar tickets in Jira and recommends experts and links to existing organizational (Wiki) knowledge for each ticket. This helps to avoid redundant work and supports the search and collaboration with experts in the project management and maintenance phase based on semantically enriched tickets in Jira.

研究の動機と目的

• Jira のような大規模なバグ追跡システムにおいて、関連するエキスパートや過去の解決策を特定する課題に対処すること。
• 類似チケットからの文書化済み解決策の再利用によって、重複作業を削減すること。
• チケットとエキスパート知識、企業内 Wiki コンテンツをリンクさせることで、協働作業と知識共有を向上させること。
• 特に非技術的ユーザーにとってのキーワードベースのエキスパート検索の限界を克服すること。
• 開発者およびプロジェクトマネージャーがリアルタイムで支援を受けられるように、意味的技術を Jira ワークフローに直接統合すること。

提案手法

• チケット記述から類似性計算用に最も関連性の高いキーワード（5〜20語）を抽出するために、tf-idf 重み付けを適用する。
• 選択されたオブジェクトプロパティ上で、オントロジーに基づくマッチングフレームワーク（CSW SemF）を用いてチケット間の意味的類似性を計算する。
• 関連トピックの類似性加重エキスパートスコアと著者評判指標を組み合わせた統合的エキスパートスコア式を用いる。
• 効率的な検索と REST を介した CRUD 操作をサポートするために、すべての Jira チケットを Lucene/Solr でインデックス化する。
• LuceneSearch を介して Mediawiki と統合し、意味的類似性に基づいて関連する Wiki 記事の取得とランク付けを行う。
• Jira EventListener とコンテキストプロバイダーを介して、チケット詳細ビューに動的にエキスパート推薦を挿入する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして意味的および統計的手法を用いて、類似チケットを自動的に特定・ランク付けできるか？
• RQ2 エキスパートを特定するのに最も効果的な情報ソース（例：チケットメタデータ、Wiki コンテンツ寄与）は何か？
• RQ3 オントロジーに基づく意味的類似性は、キーワードマッチングを上回るエキスパート推薦をどのように改善するか？
• RQ4 企業内 Wiki 知識をエキスパート推薦プロセスに統合した際の影響は何か？
• RQ5 人間の判断と比較して、このシステムは関連性の高いエキスパートをどれほど効果的に推薦できるか？

主な発見

• エキスパート推薦において 82.7% のリCALLを達成しており、これはユーザーが特定したエキスパートの 82.7% がシステムの推薦内に含まれていたことを意味する。
• ユーザーが選択したエキスパートの 88.6% がトップ10の推薦内にランク付けされており、上位結果における高い正確性を示している。
• ユーザーが選択したエキスパートの 74.3% が最初の3件の推薦内にランク付けされており、上位候補の高い関連性を示している。
• 全エキスパートの 45.7% がシステムによって最初に推薦されており、最も関連性の高いエキスパートを特定する優れたパフォーマンスを示している。
• 平均して、1チケットあたり 10.03 名のエキスパートが提案されており、広範かつ関連性のある推薦範囲であることが示された。
• 類似性計算に最適な関連語数は、評価におけるパrameterチューニングから約 10〜15 個であると判明した。