[논문 리뷰] Combining Structured Corporate Data and Document Content to Improve Expertise Finding

Alistair McLean, Mingfang Wu외 1명|ArXiv.org|2005. 09. 02.

Expert finding and Q&A systems참고 문헌 12인용 수 4

한 줄 요약

이 논문은 조직 계층 구조, 직위 명칭 등의 구조화된 기업 데이터와 이메일, 보고서 등의 비구조화된 문서 내용을 가중 융합 모델을 사용하여 융합하는 하이브리드 전문성 찾기 시스템을 제안한다. 실기업 데이터를 대상으로 한 평가 결과, 조직 구조를 통합할 경우 전문가 검색 정밀도가 크게 향상되며, 다양한 시나리오에 적합한 단일 데이터 소스 또는 가중치 설정 방식이 존재하지 않음을 입증하여, 정보 공간에 맞는 맞춤형 분석의 필요성을 강조한다.

ABSTRACT

In this paper, we present an algorithm for automatically building expertise evidence for finding experts within an organization by combining structured corporate information with different content. We also describe our test data collection and our evaluation method. Evaluation of the algorithm shows that using organizational structure leads to a significant improvement in the precision of finding an expert. Furthermore we evaluate the impact of using different data sources on the quality of the results and conclude that Expert Finding is not a "one engine fits all" solution. It requires an analysis of the information space into which a solution will be placed and the appropriate selection and weighting scheme of the data sources.

연구 동기 및 목표

• 대규모 조직 내에서 구조화된 데이터 소스와 비구조화된 데이터 소스를 모두 활용하여 내부 전문가를 정확하게 식별하는 데 도전하는 것.
• 특히 조직 구조가 전문성 찾기 시스템의 정밀도 향상에 기여하는 방식을 평가하는 것.
• 구조화된 기업 데이터와 문서 내용을 융합하는 가중 융합 모델을 개발하고 검증하는 것.
• 전문성 찾기는 '한 가지 크기로 모든 것을 맞출 수 있는' 문제가 아니며, 정보 공간의 특성에 따라 맞춤형 데이터 소스 선택 및 가중치 설정이 필요하다는 것을 입증하는 것.

제안 방법

• 저자는 구조화된 기업 데이터(예: 직위 명칭, 부서 소속)와 문서 내용(예: 이메일, 보고서의 텍스트)에서의 증거를 융합하는 하이브리드 전문가 찾기 알고리즘을 설계한다.
• 다양한 데이터 소스에서의 신호를 융합하기 위해 가중 융합 모델을 적용하며, 각 소스의 관련성과 신뢰도에 기반해 가중치를 결정한다.
• TF-IDF 또는 유사한 정보 검색 기법을 사용해 문서 내용에서의 증거를 집계하고, 구조화된 메타데이터(예: 계층 내 위치, 역할)에서의 증거를 함께 통합하여 전문성 점수를 계산한다.
• 평가를 위해 실제 기업 데이터로 구성된 테스트 컬렉션(직원 프로필, 문서, 알려진 전문가 할당 사례 포함)을 구축하였다.
• 정밀도 기반 메트릭을 사용해 검색 성능을 평가하였으며, 구조화된 데이터 유무에 따라 모델을 비교하였다.

실험 결과

연구 질문

• RQ1 구조화된 기업 데이터를 통합할 경우 전문성 찾기 시스템의 정밀도는 어떻게 향상되는가?
• RQ2 다양한 데이터 소스(예: 직위 명칭, 문서 내용)가 전문가 검색 성능에 기여하는 비율은 어떻게 되는가?
• RQ3 단일 통합 모델이 다양한 데이터 소스를 효과적으로 처리할 수 있는가, 아니면 소스별로 가중치를 조정하는 것이 필수적인가?
• RQ4 전문성 찾기의 효과성은 기반 정보 공간의 특성에 따라 달라지는가?

주요 결과

• 구조화된 기업 데이터를 통합함으로써 전문가 검색의 정밀도가 크게 향상되며, 조직적 맥락이 랭킹 정확도를 향상시킨다는 점을 입증한다.
• 구조화된 데이터와 문서 내용의 융합은 문서 내용 또는 구조화된 메타데이터에만 의존하는 모델보다 성능이 뛰어나다.
• 다양한 데이터 소스가 전문성 탐지에 이바지하는 정도가 상이하여, '한 가지 크기로 모든 것을 맞출 수 있는' 접근 방식은 효과가 없음을 시사한다.
• 최적의 성능을 달성하기 위해서는 정보 공간의 분석을 철저히 하고, 적절한 데이터 소스 선택 및 가중치 설정이 필요하다는 점을 연구가 확인한다.