[論文レビュー] Combining Structured Corporate Data and Document Content to Improve Expertise Finding

Alistair McLean, Mingfang Wu+1 more|ArXiv.org|Sep 2, 2005

Expert finding and Q&A systems参考文献 12被引用数 4

ひとこと要約

本稿では、構造化された企業データ（例：組織図、職位）と非構造化ドキュメントコンテンツ（例：メール、レポート）を重み付き統合モデルを用いて統合することで、専門家検索の正確性を向上させるハイブリッド専門家特定システムを提案する。実企業データを用いた評価では、組織構造を組み込むことで正確性が顕著に向上することが示され、単一のデータソースや重み付け方式がすべての状況に適するわけではないことが実証されており、情報空間に応じたカスタマイズされた分析の必要性が強調されている。

ABSTRACT

In this paper, we present an algorithm for automatically building expertise evidence for finding experts within an organization by combining structured corporate information with different content. We also describe our test data collection and our evaluation method. Evaluation of the algorithm shows that using organizational structure leads to a significant improvement in the precision of finding an expert. Furthermore we evaluate the impact of using different data sources on the quality of the results and conclude that Expert Finding is not a "one engine fits all" solution. It requires an analysis of the information space into which a solution will be placed and the appropriate selection and weighting scheme of the data sources.

研究の動機と目的

• 大規模組織内での内部専門家を、構造化済みおよび非構造化データソースの両方を用いて正確に同定する課題に対処すること。
• 特に組織構造が、専門家特定システムの正確性向上にどのように寄与するかを評価すること。
• 構造化された企業データとドキュメントコンテンツを統合する重み付き統合モデルの開発および検証すること。
• 専門家特定は「万能型」の問題ではなく、情報空間の特性に応じたデータソース選択および重み付けが不可欠であることを示すこと。

提案手法

• 著者らは、構造化された企業データ（例：職位、部門所属）とドキュメントコンテンツ（例：メールやレポートのテキスト）からの証拠を統合するハイブリッド専門家特定アルゴリズムを設計した。
• 各ソースの関連性および信頼性に基づいて重みが決定される重み付き統合モデルを適用し、複数のデータソースからの信号を統合した。
• ドキュメントコンテンツからの証拠（TF-IDFや類似の情報検索技術を用いて）と構造化メタデータ（例：階層内での位置、役割）からの証拠を統合して、専門家スコアを算出した。
• 評価のため、実企業データ（従業員プロフィール、ドキュメント、既知の専門家割り当て）を含むテストコレクションを構築した。
• 精度ベースの指標を用いて検索性能を評価し、構造化データを含むモデルと含まないモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 構造化された企業データを組み込むことで、専門家特定システムの正確性はどのように向上するか？
• RQ2 職位やドキュメントコンテンツなど、異なるデータソースの相対的寄与度は、専門家検索のパフォーマンスにどのように影響するか？
• RQ3 単一の統合モデルが多様なデータソースを効果的に処理できるか、それともソース別に重みを設定する必要があるか？
• RQ4 専門家特定の有効性は、下位の情報空間の特性に依存するか？

主な発見

• 構造化された企業データを組み込むことで、専門家検索の正確性が顕著に向上し、組織的文脈がランク付けの正確性を高めることを示している。
• 構造化データとドキュメントコンテンツの統合は、ドキュメントコンテンツや構造化メタデータに依存するモデルを上回る性能を示した。
• 異なるデータソースは専門家検出に異なる寄与度を示しており、これにより「万能型」のアプローチは効果が薄いことが示された。
• 最適なパフォーマンスを得るには、情報空間の詳細な分析と、適切なデータソース選択および重み付けの必要性が確認された。