[논문 리뷰] Making the road by searching - A search engine based on Swarm Information Foraging

Daniel Gayo-Avello, David J. Brenes|ArXiv.org|2009. 11. 20.

Web Data Mining and Analysis참고 문헌 93인용 수 6

한 줄 요약

이 논문은 개미 알고리즘에 영감을 받은 군집 정보 탐색 원리를 활용하여 사용자 행동에 따라 동적으로 결과를 조정하는 실시간 검색 엔진을 제안한다. 이는 관련성과 검색 시간을 향상시킨다. 기존의 머신러닝 기반 접근 방식에 의존하지 않고도 정보 검색 쿼리에서 측정 가능한 성능 향상을 이룬다. 이는 정적 순위 모델에 대한 간결하고 행동 중심의 대안을 제공한다.

ABSTRACT

Search engines are nowadays one of the most important entry points for Internet users and a central tool to solve most of their information needs. Still, there exist a substantial amount of users' searches which obtain unsatisfactory results. Needless to say, several lines of research aim to increase the relevancy of the results users retrieve. In this paper the authors frame this problem within the much broader (and older) one of information overload. They argue that users' dissatisfaction with search engines is a currently common manifestation of such a problem, and propose a different angle from which to tackle with it. As it will be discussed, their approach shares goals with a current hot research topic (namely, learning to rank for information retrieval) but, unlike the techniques commonly applied in that field, their technique cannot be exactly considered machine learning and, additionally, it can be used to change the search engine's response in real-time, driven by the users behavior. Their proposal adapts concepts from Swarm Intelligence (in particular, Ant Algorithms) from an Information Foraging point of view. It will be shown that the technique is not only feasible, but also an elegant solution to the stated problem; what's more, it achieves promising results, both increasing the performance of a major search engine for informational queries, and substantially reducing the time users require to answer complex information needs.

연구 동기 및 목표

• 정보 검색 기술의 발전에도 불구하고 사용자들이 여전히 검색 결과에 만족하지 못하는 문제를 해결하기 위해.
• 검색 관련성 문제를 고립된 정보 검색 실패가 아니라 광범위한 정보 과부하의 결과로 재정의하기 위해.
• 사용자 상호작용에 기반해 실시간으로 진화하는 동적이고 행동 중심의 순위 매기기 시스템을 개발하기 위해.
• 군집 지능 기법—특히 개미 알고리즘—을 정보 탐색 관점에서 적용할 수 있는지의 타당성과 효과성을 탐색하기 위해.
• 기존의 머신러닝 기반 접근 방식에 의존하지 않고도 복잡한 정보 검색 쿼리에서 성능을 향상시킬 수 있는가를 입증하기 위해.

제안 방법

• 시스템은 사용자 검색 행동을 자원을 찾는 자원 확보자처럼 행동하는 탐색 과정으로 모델링한다.
• 사용자 탐색 패턴을 시뮬레이션하기 위해 개미 군집 최적화(ACO) 원리를 적용하며, 클릭과 체류 시간을 페로몬 신호로 간주한다.
• 사용자 상호작용에 기반해 실시간으로 페로몬 수준을 갱신한다: 클릭과 결과에 머무는 시간은 해당 결과가 더 높은 순위로 배치될 가능성을 높인다.
• 성공적인 정보 확보로 이어지는 경로(결과)를 강화함으로써 알고리즘은 결과 순서를 동적으로 조정한다.
• 시스템은 오프라인 학습이나 레이블이 부여된 데이터가 필요 없이 실시간으로 사용자 행동에서 지속적으로 학습한다.
• 사용자 의사결정 과정을 자원 확보 과정으로 모델링하기 위해 인간-컴퓨터 상호작용 원리를 통합하여 정보 수확 최적화를 추구한다.

실험 결과

연구 질문

• RQ1 개미 알고리즘에서 유래한 군집 지능 원리는 실시간 정보 검색에 효과적으로 적용될 수 있는가?
• RQ2 클릭과 체류 시간과 같은 사용자 행동 패턴은 동적 결과 순위 매기기의 효과적인 신호가 될 수 있는가?
• RQ3 행동 중심의 기계학습 기반 접근 방식이 아닌 방법이 복잡한 정보 검색 쿼리에서 검색 성능을 향상시킬 수 있는가?
• RQ4 기존 순위 매기기 방법과 비교해 이 시스템은 사용자 검색 시간을 줄이고 결과의 관련성을 높일 수 있는가?
• RQ5 사용자 행동을 자원 확보 과정으로 모델링함으로써 이 시스템은 정보 과부하 문제를 어떻게 다루는가?

주요 결과

• 제안된 시스템은 사용자 행동에 기반해 실시간으로 순위를 조정함으로써 정보 검색 쿼리에서 성능을 크게 향상시킨다.
• 사용자들이 복잡한 정보 요구를 해결하는 데 기존 검색 엔진보다 훨씬 적은 시간이 소요되었다.
• 기존의 머신러닝 기법이나 오프라인 학습에 의존하지 않아도 유의미한 성과를 달성한다.
• 시스템은 검색을 동적 정보 탐색 과정으로 모델링함으로써 타당성과 우아함을 입증한다.
• 사용자 상호작용에서 유도된 페로몬 유사 신호가 결과 순위 매기기를 효과적으로 이끌어내어 관련성을 향상시킨다.
• 이 방법은 정적 순위 모델에 대한 확장 가능한 실시간 대안을 제공하며, 특히 동적인 정보 탐색 상황에서 뛰어난 성능을 발휘한다.