[논문 리뷰] Towards an automated query modification assistant

Vera Hollink, Arjen P. de Vries|arXiv (Cornell University)|2011. 04. 01.

Web Data Mining and Analysis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 검색 로그를 기반으로 사용자의 쿼리 개선 전략에 대한 피드백을 제공할 수 있는 자동화된 쿼리 수정 보조자 도구를 제안한다. 연결된 데이터 엔티티를 사용하여 용어 기반 및 의미 기반 쿼리 수정을 분석함으로써, 형제 관계나 소수 대 소수 매핑과 같은 효과가 없지만 흔한 수정 패턴 6종을 식별하여 검색 효율성을 향상시키기 위한 구체적인 조언을 제공한다.

ABSTRACT

Users who need several queries before finding what they need can benefit from an automatic search assistant that provides feedback on their query modification strategies. We present a method to learn from a search log which types of query modifications have and have not been effective in the past. The method analyses query modifications along two dimensions: a traditional term-based dimension and a semantic dimension, for which queries are enriches with linked data entities. Applying the method to the search logs of two search engines, we identify six opportunities for a query modification assistant to improve search: modification strategies that are commonly used, but that often do not lead to satisfactory results.

연구 동기 및 목표

• 이전 검색 로그 데이터를 기반으로 사용자의 쿼리 수정 전략에 대한 피드백을 제공할 수 있는 자동화된 보조자 도구를 개발하는 것.
• 흔히 사용되지만 효과가 없는 공통된 쿼리 수정 패턴을 식별하여 검색 효율성을 향상시키는 것.
• 쿼리 로그의 용어 기반 및 의미 기반 분석을 융합하여 피드백 생성에 유용한 보완적 통찰을 도출하는 것.
• 두 개의 서로 다른 검색 엔진 데이터셋을 대상으로 결과를 검증하여 타당성과 일반화 가능성을 확보하는 것.
• 사용자가 더 효과적인 쿼리 개선 전략을 택할 수 있도록 유도할 수 있는 실행 가능한 피드백 기회를 제공하는 것.

제안 방법

• 검색 로그에서 연속된 쿼리 쌍을 분석하여 용어 기반 및 의미 기반 차원에서 수정 유형을 식별하는 방법.
• 쿼리를 연결된 데이터 엔티티(Dbpedia, WordNet, AAT 등)에 매핑하여 쿼리 수정의 의미 기반 분석을 가능하게 하는 방법.
• 형제 관계, 소수 대 소수 매핑, 동일 엔티티 변형과 같은 의미적 유형으로 수정을 분류하는 방법.
• 각 수정 유형의 정보 검색 성공률(isr)을 계산하여 효과성을 평가하는 방법.
• 뉴스 사진 및 린크스무지움미우미술관 이미지 자료집 등 두 개의 독립된 데이터셋 결과를 비교하여 일관성을 검증하는 방법.
• 통계 분석을 통해 흔히 사용되지만 성공률이 낮은 수정 패턴을 식별하는 방법.

실험 결과

연구 질문

• RQ1 어떤 종류의 쿼리 수정이 자주 사용되지만 항상 검색 결과 향상에 실패하는가?
• RQ2 형제 관계나 소수 대 소수 매핑과 같은 의미 기반 쿼리 수정이 기존의 용어 기반 수정보다 효과적으로 작용하는가?
• RQ3 쿼리 수정 전략에 대한 피드백은 무의미한 쿼리 반복 횟수를 줄일 수 있는가?
• RQ4 특정 수정 유형은 성공적인 쿼리(예: 클릭) 이후에 더 효과적인가?
• RQ5 용어 기반 분석과 의미 기반 분석의 통찰이 서로 보완적으로 작용하여 피드백 기회를 식별하는 데 얼마나 기여하는가?

주요 결과

• 사용자가 자주 적용하지만 효과가 없는 쿼리 수정 전략이 6가지로 식별되었으며, 형제 관계나 소수 대 소수 매핑 등이 포함된다.
• 형제 관계(예: 같은 팀의 두 선수 검색)는 평균 성공률이 높았으나(isr = +0.02 ~ +0.06), 일부 하위 유형(예: 유형 4)은 낮은 효과를 보였다.
• 소수 대 소수 관계(예: 배우자, 수도 소유)는 자주 실패했으며, 음수의 isr 점수(예: –0.05 ~ –0.06)를 기록해 성능이 열 劣한 것으로 나타났다.
• 동일 엔티티 수정(예: Gent/Gand와 같은 별칭)은 성공적인 쿼리 이후에 효과가 없었으며, 어휘적 변형과 유사한 결과를 보였다.
• 형제 관계는 성공적인 쿼리 이후에 가장 효과적이었으며, 숙련된 사용자가 전략적으로 활용한 것으로 보였지만, 보조자 도구의 안내가 여전히 유용할 수 있었다.
• 의미 기반 분석과 용어 기반 분석은 상호 보완적인 통찰을 제공하였으며, 두 데이터셋 간 일관성을 보이는 겹치는 발견이 있었다.