[논문 리뷰] WebNav: A New Large-Scale Task for Natural Language based Sequential Decision Making.

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|2016. 02. 06.

Topic Modeling참고 문헌 16인용 수 10

한 줄 요약

이 논문은 목표 지향적 웹 내비게이션에서 자연어 기반 순차적 의사결정을 수행하는 에이전트를 평가하기 위한 대규모 벤치마크인 WebNav를 소개한다. 웹사이트를 그래프 구조 환경으로 변환하여 에이전트가 자연어 질의를 사용해 내비게이션을 수행하도록 하며, 500만 개의 위키백과 기사와 1,200만 개의 질의를 포함한 WikiNav라는 데이터셋을 활용해 신경망 기반 에이전트를 훈련하고 평가함으로써 인간과 기계 모두에게 도전적인 과제가 있음을 드러낸다.

ABSTRACT

We propose a goal-driven web navigation as a benchmark task for evaluating an agent with abilities to understand natural language and plan on partially observed environments. In this challenging task, an agent navigates through a web site, which is represented as a graph consisting of web pages as nodes and hyperlinks as directed edges, to find a web page in which a query appears. The agent is required to have sophisticated high-level reasoning based on natural languages and efficient sequential decision making capability to succeed. We release a software tool, called WebNav, that automatically transforms a website into this goal-driven web navigation task, and as an example, we make WikiNav, a dataset constructed from the English Wikipedia containing approximately 5 million articles and more than 12 million queries for training. We evaluate two different agents based on neural networks on the WikiNav and provide the human performance. Our results show the difficulty of the task for both humans and machines. With this benchmark, we expect faster progress in developing artificial agents with natural language understanding and planning skills.

연구 동기 및 목표

• 에이전트가 부분 관측 환경에서 자연어 이해 능력과 순차적 의사결정 능력을 갖추고 있는지를 평가할 수 있는 벤치마크 과제를 개발하는 것.
• 실제 웹사이트를 구조화된 내비게이션 과제로 변환할 수 있는 확장 가능한 프레임워크를 구축하는 것.
• 영어 위키백과에서 유래한 대규모 데이터셋인 WikiNav를 공개하는 것. 이 데이터셋에는 500만 개의 기사와 1,200만 개의 질의가 포함되어 있다.
• 신경망 기반 에이전트의 성능을 평가하고 인간 성능과 비교하는 것.
• 웹 내비게이션에서 자연어 이해와 장기 계획을 통합하는 데 있어 발생하는 과제를 부각하는 것.

제안 방법

• 웹 페이지를 노드로, 하이퍼링크를 방향성 간선으로 갖는 그래프 구조 환경으로 웹사이트를 변환하는 것.
• 각 내비게이션 과제를 주어진 자연어 질의가 나타나는 웹 페이지를 찾는 목표로 표현하는 것.
• 웹사이트에서 페이지와 링크를 추출함으로써 어떤 웹사이트에서라도 내비게이션 과제를 자동 생성할 수 있는 소프트웨어 도구인 WebNav를 사용하는 것.
• WebNav를 영어 위키백과에 적용하여 500만 개의 기사와 1,200만 개 이상의 질의를 포함한 데이터셋인 WikiNav를 구축하는 것.
• 부분 관측 조건 하에서 순차적 의사결정에 중점을 두고 이 데이터셋을 사용해 신경망 기반 에이전트를 훈련하고 평가하는 것.
• 기계 에이전트와 인간의 성능을 비교하여 이 과제의 난이도를 평가하는 것.

실험 결과

연구 질문

• RQ1 자연어에 기반한 대규모 목표 지향 웹 내비게이션 과제에서 신경망 기반 에이전트는 얼마나 잘 수행할 수 있는가?
• RQ2 복잡한 웹 구조에서 자연어 질의를 사용해 내비게이션할 때 인간 사용자와 기계 에이전트 사이의 성능 격차는 어느 정도인가?
• RQ3 웹 그래프의 복잡성과 부분 관측 조건이 순차적 의사결정 에이전트에게 얼마나 도전적인가?
• RQ4 WebNav 프레임워크는 대규모 웹 내비게이션 벤치마크의 자동 생성에 얼마나 효과적인가?
• RQ5 웹 내비게이션에서 자연어 이해와 장기 계획을 통합하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• WebNav 벤치마크는 목표 지향적 웹 내비게이션에서 심각한 난이도를 드러내며, 인간 참가자들에게조차도 높은 성능 기준을 요구함을 시사한다.
• WikiNav에서 훈련된 신경망 기반 에이전트는 제한된 성공을 보이며, 현재 모델들이 자연어 기반 장기 다단계 내비게이션에서 어려움을 겪고 있음을 입증한다.
• 이 과제는 인간과 기계 모두에게 도전적이며, 추론 및 계획 능력 향상이 더 필요함을 시사한다.
• 500만 개의 기사와 1,200만 개 이상의 질의를 포함한 WikiNav 데이터셋은 에이전트의 훈련과 평가를 위한 대규모이고 현실적인 환경을 제공한다.
• WebNav 도구는 웹사이트를 구조화된 내비게이션 과제로 자동 변환할 수 있게 하여 확장 가능한 벤치마킹을 가능하게 한다.
• 이 과제에서 인간의 성능은 비단 비현실적이지 않지만, 여전히 현재의 신경망 기반 에이전트보다 뚜렷이 뛰어나며, 추론 및 계획 능력 격차를 드러낸다.