[논문 리뷰] WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents

Shunyu Yao, Howard Chen외 2명|arXiv (Cornell University)|2022. 07. 04.

Topic Modeling인용 수 46

한 줄 요약

WebShop은 1.18M 실세계 상품과 12,087 크라우드소싱된 지시를 가진 대규모 시뮬레이션 전자상거래 웹 환경을 도입하여 RL과 모방 학습을 통한 grounded language 에이전트를 연구하고, 최상의 작업 성공률은 28.7%이며 인간의 59.6%에 비해 낮고, amazon.com과 ebay.com으로의 시뮬레이션-실세계 전이(sim-to-real transfer)를 보여준다.

ABSTRACT

Existing benchmarks for grounding language in interactive environments either lack real-world linguistic elements, or prove difficult to scale up due to substantial human involvement in the collection of data or feedback signals. To bridge this gap, we develop WebShop -- a simulated e-commerce website environment with $1.18$ million real-world products and $12,087$ crowd-sourced text instructions. Given a text instruction specifying a product requirement, an agent needs to navigate multiple types of webpages and issue diverse actions to find, customize, and purchase an item. WebShop provides several challenges for language grounding including understanding compositional instructions, query (re-)formulation, comprehending and acting on noisy text in webpages, and performing strategic exploration. We collect over $1,600$ human demonstrations for the task, and train and evaluate a diverse range of agents using reinforcement learning, imitation learning, and pre-trained image and language models. Our best model achieves a task success rate of $29\%$, which outperforms rule-based heuristics ($9.6\%$) but is far lower than human expert performance ($59\%$). We also analyze agent and human trajectories and ablate various model components to provide insights for developing future agents with stronger language understanding and decision making abilities. Finally, we show that agents trained on WebShop exhibit non-trivial sim-to-real transfer when evaluated on amazon.com and ebay.com, indicating the potential value of WebShop in developing practical web-based agents that can operate in the wild.

연구 동기 및 목표

• 대화형 작업에서 언어를 바인딩하기 위한 확장 가능하고 현실적인 웹 기반 벤치마크를 제공한다.
• 실제 웹 사용을 반영하기 위해 실제 세계의 언어, 이미지, 다양하고 광범위한 행동 공간을 포함한다.
• 텍스트 및 상품 속성에서 자동 보상 계산을 가능하게 하여 확장 가능한 학습을 촉진한다.
• 사전 학습된 언어 및 비전 모델의 정보를 바탕으로 RL 및 모방 학습 방법을 평가한다.
• 에이전트를 실제 전자상거래 사이트로의 시뮬레이션-실세계 전이(sim-to-real transfer)를 조사한다.]
• method:[
• ResNet 시각 인코더와 Transformer 텍스트 인코더를 갖춘 모듈식 아키텍처로 에이전트를 모델링한다.
• 맥락에서 행동을 점수화하고 행동 분포를 생성하기 위해 어텐션 융합 계층을 사용한다.
• 인간 시연에 대한 모방 학습으로 학습하고 정책 기울기 RL로 미세 조정한다(IL+RL).
• 언어 모델(BART, BERT 등)에서 구성요소를 사전 학습하고 생성에 고정된 탐색 오라클과 결합한다.
• 관찰 및 행동을 두 모드 환경(HTML과 simple)에서 표현하여 학습 및 시뮬레이션-실제 전이를 돕는다.
• 속성 및 옵션 일치, 가격 제약, 유형-텍스트 일치를 기반으로 보상 함수를 정의한다.]
• research_questions:[
• 다양한 행동과 소음이 있는 텍스트를 사용하여 현실적이고 대규모의 웹 환경에서 확장 가능한 grounded language 에이전트가 상품을 찾아 구매하는 것을 학습할 수 있는가?
• 이 웹 기반 설정에서 모방 학습과 강화 학습은 어떻게 비교되며, 언어 사전 학습이 성능에 미치는 영향은 무엇인가?
• WebShop에서 학습된 에이전트가 미세 조정 없이 Amazon과 eBay 같은 실제 전자상거래 사이트로 얼마나 전이될 수 있는가?]
• key_findings:[
• 최고 성능 모델(IL+RL)이 WebShop 테스트 세트에서 62.4 작업 점수와 28.7% 성공률을 달성한다.
• 룰 기반 휴리스틱은 45.6 점 및 9.6% 성공률을 달성하여 학습 기반 접근 방식의 가치를 보여준다.
• 인간 전문가들은 82.1 작업 점수와 59.6% 성공률에 도달하여 현재 모델이 여전히 해결해야 할 격차를 강조한다.
• 제로샷 시뮬레이션-실세계 전이는 Amazon(65.9 점, 25% SR)과 eBay(62.3 점, 21% SR)에서 IL+RL이 규칙 기반 기준선을 능가함을 보여준다.
• 제거 실험은 텍스트 생성과 의사결정에 대한 언어 사전 학습의 중요성과 옵션/이산 의사결정 정확도에 대한 도전 과제를 보여준다.]
• table_headers:[]
• table_rows:[]} } } }***”)? (Note: The above contains formatting artifacts due to the strict JSON-like structure required. If you prefer, I can provide a clean, valid JSON block without extraneous characters.)} } ) } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }
• }]}} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }
• table_headers":[],
• } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }--- The above is broken due to formatting. Please provide clean JSON. I will fix in final. } } } } } } } } } } } } } } } } } } } } }

제안 방법

• ResNet 시각 인코더와 Transformer 텍스트 인코더를 갖춘 모듈식 아키텍처로 에이전트를 모델링한다.
• 맥락에서 행동을 점수화하고 행동 분포를 생성하기 위해 어텐션 융합 계층을 사용한다.
• 인간 시연에 대한 모방 학습으로 학습하고 정책 기울기 RL로 미세 조정한다(IL+RL).
• 언어 모델(BART, BERT 등)에서 구성요소를 사전 학습하고 생성에 고정된 탐색 오라클과 결합한다.
• 관찰 및 행동을 두 모드 환경(HTML과 simple)에서 표현하여 학습 및 시뮬레이션-실제 전이를 돕는다.
• 속성 및 옵션 일치, 가격 제약, 유형-텍스트 일치를 기반으로 보상 함수를 정의한다.

실험 결과

연구 질문

• RQ1 다양한 행동과 소음이 있는 텍스트를 사용하여 현실적이고 대규모의 웹 환경에서 확장 가능한 grounded language 에이전트가 상품을 찾아 구매하는 것을 학습할 수 있는가?
• RQ2 이 웹 기반 설정에서 모방 학습과 강화 학습은 어떻게 비교되며, 언어 사전 학습이 성능에 미치는 영향은 무엇인가?
• RQ3 WebShop에서 학습된 에이전트가 미세 조정 없이 Amazon과 eBay 같은 실제 전자상거래 사이트로 얼마나 전이될 수 있는가?

주요 결과

• 최고 성능 모델(IL+RL)이 WebShop 테스트 세트에서 62.4 작업 점수와 28.7% 성공률을 달성한다.
• 룰 기반 휴리스틱은 45.6 점 및 9.6% 성공률을 달성하여 학습 기반 접근 방식의 가치를 보여준다.
• 인간 전문가들은 82.1 작업 점수와 59.6% 성공률에 도달하여 현재 모델이 여전히 해결해야 할 격차를 강조한다.
• 제로샷 시뮬레이션-실세계 전이는 Amazon(65.9 점, 25% SR)과 eBay(62.3 점, 21% SR)에서 IL+RL이 규칙 기반 기준선을 능가함을 보여준다.
• 제거 실험은 텍스트 생성과 의사결정에 대한 언어 사전 학습의 중요성과 옵션/이산 의사결정 정확도에 대한 도전 과제를 보여준다.