[논문 리뷰] An Effective Information Retrieval for Ambiguous Query

Rajendra Kumar Roul, Sanjay K. Sahay|arXiv (Cornell University)|2012. 04. 06.

Web Data Mining and Analysis참고 문헌 8인용 수 3

한 줄 요약

이 논문은 Gensim을 사용한 벡터 공간 모델링과 FreeDictionary를 활용하여 커뮤니티 벡터를 구성함으로써, 의미가 다중인 의도가 불확실한 검색어를 위한 새로운 비지도 정보 검색 방법을 제안한다. 단어의 의미에 기반한 의미적 연관성에 따라 관련 웹 페이지를 군집화함으로써, 문서와 커뮤니티 벡터 간의 코사인 유사도를 통해 사용자 의도에 맞게 문서를 정렬함으로써 검색 정확도를 크게 향상시킨다.

ABSTRACT

Search engine returns thousands of web pages for a single user query, in which most of them are not relevant. In this context, effective information retrieval from the expanding web is a challenging task, in particular, if the query is ambiguous. The major question arises here is that how to get the relevant pages for an ambiguous query. We propose an approach for the effective result of an ambiguous query by forming community vector based on association concept of data minning using vector space model and the freedictionary. We develop clusters by computing the similarity between community vectors and document vectors formed from the extracted web pages by the search engine. We use Gensim package to implement the algorithm because of its simplicity and robust nature. Analysis shows that our approach is an effective way to form clusters for an ambiguous query.

연구 동기 및 목표

• 의도가 다중인 단어들(예: 'apple' 또는 'java')과 같은 짧고 다의어적인 단어들로 인해 관련 결과를 검색하는 데 어려움을 해결한다.
• 사용자 의도에 기반한 의미적으로 일관된 군집으로 검색 결과를 그룹화하여 검색 엔진의 효과성을 향상시킨다.
• 기존 군집화 및 순위 매기기 방법의 한계를 극복한다. 이러한 방법들은 미묘한 단어의 의미를 포착하지 못하거나 대규모 학습 데이터를 필요로 한다.
• 가벼운 사전 기반의 연관성 탐사 기법을 사용하여 변화하는 웹 환경에 적응할 수 있는 동적이고 확장 가능한 솔루션을 개발한다.
• 쿼리 로그나 개인정보 침해를 동반하는 데이터 수집에 의존하지 않고도 의미가 다중인 검색어에 대해 정확한 군집화를 가능하게 한다.

제안 방법

• 기본 검색 엔진을 사용하여 의미가 다중인 검색어에 대해 상위 n개의 웹 페이지를 추출한다.
• 정규화 단계에서 불용어를 제거하고 포터 스타머링을 적용하며, Minipar를 통해 키워드 선택을 위해 명사만 추출한다.
• Gensim 자연어 처리 라이브러리를 사용하여 TF-IDF 점수를 계산하여 문서 벡터를 구성한다.
• 의미 다중어 단어의 각 의미에 대해 FreeDictionary를 검색하여 관련 용어를 수집함으로써 커뮤니티 벡터를 형성한다(예: 'apple'을 과일, 컴퓨터, 기업으로 간주).
• 각 의미에 대해 재귀적으로 사전을 검색하여 관련 명사를 수집하고, 정규 표현식을 사용해 검색된 문서에 포함된 단어들만 필터링한다.
• 문서 코퍼스에 대한 각 커뮤니티 벡터 성분의 TF-IDF 가중치를 계산하고, 코사인 유사도를 사용하여 문서를 가장 관련성이 높은 군집에 할당한다.

실험 결과

연구 질문

• RQ1 대규모 학습 코퍼스나 쿼리 로그에 의존하지 않고 의미 다중어 검색어에 대해 웹 문서를 효과적으로 군집화할 수 있는가?
• RQ2 사전 기반 연관성에서 유도된 커뮤니티 벡터가 의미 다중어에 대해 검색 결과의 관련성에 얼마나 기여하는가?
• RQ3 Gensim과 FreeDictionary를 활용한 경량 비지도 방법이 전통적인 군집화나 순위 매기기 모델보다 단어의 의미 다중성 문제를 더 잘 해결할 수 있는가?
• RQ4 의존성 파싱과 명사 기반 키워드 추출이 군집 형성 정밀도를 어떻게 향상시키는가?
• RQ5 제안된 방법은 동적으로 새로운 웹 콘텐츠에 적응하면서도 높은 군집 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 의미 다중어인 'apple'에 대해 두 개의 명백한 군집을 형성하여 과일과 컴퓨터 기업 관련 문서를 효과적으로 분리한다.
• D1과 D3는 'apple'을 과일로 간주하는 군집 C1에, D2와 D4는 'apple'을 컴퓨터 기업으로 간주하는 군집 C2에 할당되었으며, 이는 최대 코사인 유사도 기반으로 결정되었다.
• 코사인 유사도 지표는 문서-커뮤니티 벡터 간의 정렬 정도를 효과적으로 측정하였으며, 유사도 값이 클수록 특정 단어의 의미에 대한 관련성이 높음을 나타낸다.
• FreeDictionary의 사용과 재귀적 연관성 탐사 기법 덕분에 수동 레이블링 없이도 의미적으로 일관된 군집을 자동으로 발견할 수 있었다.
• Gensim의 효율적인 벡터 연산 기능을 활용하고 동적인 웹 콘텐츠를 처리함으로써 이 방법은 강건성과 확장성을 입증하였다.
• 문서 중심 군집 중심점이나 대규모 학습 데이터에 대한 의존도를 줄이고 맥락적 연관성을 통합함으로써 기존의 k-means 및 의미 다중성 유도 기법보다 우수한 성능을 보였다.