[논문 리뷰] End-to-End Goal-Driven Web Navigation

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|2016. 02. 06.

Topic Modeling참고 문헌 15인용 수 9

한 줄 요약

이 논문은 자연어 이해 및 순차적 의사결정 능력 평가를 위한 에이전트 평가 기준으로 종단 간 목표 지향 웹 탐색을 도입한다. 저자들은 웹사이트를 탐색 가능한 그래프로 변환하는 도구인 WebNav를 사용하여 위키백과에서 WikiNav를, 제퍼니의 질문을 활용해 WikiNav-Jeopardy를 생성한다. WikiNav에서 훈련된 신경망 기반 에이전트는 문서 검색 정확도에서 기존 검색 엔진을 능가하며, 이는 실제 응용 분야인 질문 응답 및 집중적 크롤링과 같은 작업의 타당한 대체 기준임을 입증한다.

ABSTRACT

We propose a goal-driven web navigation as a benchmark task for evaluating an agent with abilities to understand natural language and plan on partially observed environments. In this challenging task, an agent navigates through a website, which is represented as a graph consisting of web pages as nodes and hyperlinks as directed edges, to find a web page in which a query appears. The agent is required to have sophisticated high-level reasoning based on natural languages and efficient sequential decision-making capability to succeed. We release a software tool, called WebNav, that automatically transforms a website into this goal-driven web navigation task, and as an example, we make WikiNav, a dataset constructed from the English Wikipedia. We extensively evaluate different variants of neural net based artificial agents on WikiNav and observe that the proposed goal-driven web navigation well reflects the advances in models, making it a suitable benchmark for evaluating future progress. Furthermore, we extend the WikiNav with question-answer pairs from Jeopardy! and test the proposed agent based on recurrent neural networks against strong inverted index based search engines. The artificial agents trained on WikiNav outperforms the engined based approaches, demonstrating the capability of the proposed goal-driven navigation as a good proxy for measuring the progress in real-world tasks such as focused crawling and question-answering.

연구 동기 및 목표

• 인간어 이해 및 순차적 계획 수립 분야에서 인공 에이전트 평가를 위한 대규모이고 현실적인 기준을 확립하기 위해.
• 기존 텍스트 기반 게임의 한계를 해결하기 위해, 작은 어휘량과 복잡한 자연어 기술 기술이 부족한 문제를 해결하기 위해.
• 실제 웹사이트를 탐색 가능하고 목표 중심의 작업으로 변환하는 확장성 있고 자동화된 프레임워크를 구축하기 위해.
• 이 기준에서 신경망 기반 에이전트의 성능을 평가하고 기존 검색 엔진과의 성능을 비교하기 위해.
• 제안된 작업이 집중적 크롤링 및 질문 응답과 같은 실용적 응용 분야의 강력한 대체 기준이 될 수 있음을 입증하기 위해.

제안 방법

• 웹 탐색을 그래프로 모델링하며, 노드는 자연어 기반 콘텐츠를 가진 웹 페이지이고, 간선은 하이퍼링크이다.
• 에이전트는 로컬 관측 정보와 상태 기반 액션 공간을 이용해 시작 노드에서 목표 노드로 이동하며, 주어진 질의가 나타나는 곳에 도달한다.
• WebNav 소프트웨어 도구는 웹사이트를 이 기준 형식으로 자동으로 변환하며, 실제 세계의 텍스트와 하이퍼링크 구조를 유지한다.
• 신경망 기반 에이전트(네오에이전트)는 질의 표현을 위해 어텐션 메커니즘을 갖춘 순환 신경망(LSTM)을 사용해 지도 학습 방식으로 훈련된다.
• 추론 과정에서 다중 탐색 경로를 탐색하고 목표 탐지 정확도를 향상시키기 위해 빔 서치를 사용한다.
• 성능 평가는 문서 검색 정확도(K) 기준인 Recall@K를 사용하며, 역색인 및 API 기반 검색 시스템과 비교한다.

실험 결과

연구 질문

• RQ1 목표 지향 웹 탐색 작업은 자연어 이해 및 계획 수립 분야에서 에이전트 평가를 위한 타당한 기준이 될 수 있는가?
• RQ2 이 작업에서 훈련된 신경망 기반 에이전트는 관련 웹 페이지 검색에서 기존 검색 엔진보다 어떻게 성능을 냈는가?
• RQ3 대규모 웹 탐색 데이터셋에서 미리 훈련된 모델이 질문 응답과 같은 후행 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 기준은 부분 관측 가능성과 동적 액션 공간과 같은 실세계 과제를 반영하는가?
• RQ5 위키백과에서 훈련된 후, 제퍼니의 질문과 같은 도메인 외 질의에 대해 에이전트는 일반화 성능을 보일 수 있는가?

주요 결과

• WikiNav-16-4에서 미세조정된 NeuAgent 모델은 WikiNav-Jeopardy에서 Recall@1이 18.9%를 기록하며, 모든 검색 기반 베이스라인을 능가했다.
• NeuAgent는 Recall@4에서 23.6%를 기록했으며, Lucene(14.7%)와 Google Search API(22.1%)를 모두 초월했다.
• 미리 훈련 없이도 NeuAgent는 Recall@1에서 13.9%를 기록했으며, SimpleSearch(5.4%)와 Lucene(6.3%)를 모두 뛰어넘었다.
• K 값이 낮을수록 pretrained NeuAgent와 검색 엔진 간 성능 격차가 커지며, 이는 더 뛰어난 순위 정확도를 의미한다.
• 인간 참가자들은 최고의 신경망 기반 에이전트보다 성능이 열 劣했으며, 이는 기준이 인간 성능 평가보다 기계 지능 평가에 더 적합함을 시사한다.
• 결과적으로 목표 지향 웹 탐색 작업이 집중적 크롤링 및 질문 응답과 같은 실세계 응용 분야의 강력한 대체 기준임을 확인했다.