[논문 리뷰] Adversarial Environment Generation for Learning to Navigate the Web

İzzeddin Gür, Natasha Jaques외 4명|arXiv (Cornell University)|2021. 03. 02.

Influenza Virus Research Studies참고 문헌 18인용 수 5

한 줄 요약

이 논문은 복합 설계 원소를 사용하여 동적으로 점점 더 어려운 웹사이트를 생성함으로써 강화학습 에이전트가 복잡하고 실제 세계의 웹 작업을 탐색하도록 훈련하는 적대적 환경 생성 방법인 Flexible b-PAIRED를 제안한다. 이 방법은 복잡성에 제한을 두는 회귀 기반 커리큘럼 학습을 사용하여 사전 방법보다 뛰어나며, 테스트 시험 과제에서 80% 이상의 성공률을 달성한다.

ABSTRACT

Learning to autonomously navigate the web is a difficult sequential decision making task. The state and action spaces are large and combinatorial in nature, and websites are dynamic environments consisting of several pages. One of the bottlenecks of training web navigation agents is providing a learnable curriculum of training environments that can cover the large variety of real-world websites. Therefore, we propose using Adversarial Environment Generation (AEG) to generate challenging web environments in which to train reinforcement learning (RL) agents. We provide a new benchmarking environment, gMiniWoB, which enables an RL adversary to use compositional primitives to learn to generate arbitrarily complex websites. To train the adversary, we propose a new technique for maximizing regret using the difference in the scores obtained by a pair of navigator agents. Our results show that our approach significantly outperforms prior methods for minimax regret AEG. The regret objective trains the adversary to design a curriculum of environments that are "just-the-right-challenge" for the navigator agents; our results show that over time, the adversary learns to generate increasingly complex web navigation tasks. The navigator agents trained with our technique learn to complete challenging, high-dimensional web navigation tasks, such as form filling, booking a flight etc. We show that the navigator agent trained with our proposed Flexible b-PAIRED technique significantly outperforms competitive automatic curriculum generation baselines -- including a state-of-the-art RL web navigation approach -- on a set of challenging unseen test environments, and achieves more than 80% success rate on some tasks.

연구 동기 및 목표

• 큰 조합적 상태 공간과 행동 공간을 가진 다양한 실제 웹 탐색 과제에 대해 일반화할 수 있도록 강화학습 에이전트를 훈련하는 데 도전하는 것.
• 전문가 지시나 고정된 커리큘럼 방법의 한계를 극복하기 위해 확장 가능하고 적응 가능한 웹 환경 커리큘럼을 생성하는 것.
• 에이전트의 현재 기술 수준에 맞게 난이도를 조절하는 적대적 환경 생성기를 설계하는 것.
• 에이전트가 실패할 경우 과도한 복잡성을 방지하기 위해 유연한 회귀 계산과 예산 제도를 도입하여 회귀 기반 환경 생성을 향상시키는 것.
• 웹 탐색 강화학습 연구를 가속화하기 위해 복합 웹 환경 생성을 위한 오픈소스 벤치마크인 gMiniWoB를 공개하는 것.

제안 방법

• 웹 탐색 바, 웹 폼, 제품 캐러셀과 같은 복합 원소를 사용해 웹사이트를 구성할 수 있는 새로운 오픈소스 환경인 gMiniWoB를 제안한다.
• 두 개의 네비게이터 에이전트 간의 성능 차이를 기반으로 회귀를 계산하여 적대자를 이끄는 새로운 AEG 기법인 Flexible b-PAIRED를 도입한다.
• 성능이 가장 좋은 네비게이터를 적대자로 사용함으로써, 초기 훈련 단계에서 에이전트들이 유사할 경우에도 일관되고 유의미한 회귀 신호를 보장함으로써 회귀 추정을 향상시킨다.
• 에이전트가 실패할 경우 과도하게 복잡한 환경을 생성하는 것을 방지하기 위해 적대자에게 복잡성에 대한 예산 제도를 도입함으로써 커리큘럼의 균형을 유지한다.
• 에이전트의 능력 변화에 맞게 어려움은 있지만 해결 가능한 환경을 생성하도록 최소화 최대 회귀 목표를 사용하여 적대자를 훈련시킨다.
• 적대자가 웹사이트를 생성하고 네비게이터 에이전트가 DOM 수준의 동작을 사용하여 폼 채우기 및 탐색 과제를 완료하도록 하는 双에이전트 구조를 사용한다.

실험 결과

연구 질문

• RQ1 고정되거나 무작위 커리큘럼 방법보다 적대적 환경 생성이 웹 탐색 RL 에이전트를 위한 더 효과적이고 적응 가능한 커리큘럼을 제공할 수 있는가?
• RQ2 회귀 기반 학습을 어떻게 개선할 수 있을까? AEG를 통한 웹 탐색에서 국소 최적점에 갇히지 않고 안정적인 학습을 보장하기 위해선 어떻게 해야 하는가?
• RQ3 에이전트가 실패할 경우 과도한 복잡성을 방지하기 위한 예산 제도를 도입하면 생성된 환경의 품질과 학습 가능성은 향상되는가?
• RQ4 Flexible b-PAIRED로 훈련된 에이전트는 훈련 중에 볼 수 없었던 고도로 복잡한 웹 과제에 얼마나 잘 일반화되는가?
• RQ5 생성된 웹사이트에서 활성 원소와 수동 원소의 분포는 시간이 지남에 따라 어떻게 변화하며, 이는 에이전트 성능과 관련이 있는가?

주요 결과

• Flexible b-PAIRED는 유의미한 회귀 신호가 없는 상황에서 에이전트들이 유사한 보상을 얻을 경우 학습에 실패하는 원래의 PAIRED 알고리즘보다 뚜렷이 뛰어나다.
• 제안된 예산 제도는 Flexible b-PAIRED와 원래의 PAIRED 양쪽 모두의 성능을 향상시켜 학습의 안정성과 효과성을 높인다.
• Flexible b-PAIRED는 가장 도전적인 테스트 과제에서 80% 이상의 성공률을 달성하여, 훈련 중에 보지 못한 환경으로의 강력한 일반화 능력을 보여준다.
• 에이전트는 환경 복잡성이 증가함에 따라 지속적으로 성능 향상을 보이며, 이는 효과적인 커리큘럼 진행을 의미한다.
• 생성된 웹사이트에서 활성 원소의 비율은 훈련 초기 약 60%에서 시작하여 점차 증가하며, 이는 적대자가 에이전트 능력에 맞게 난이도를 조절할 수 있음을 반영한다.
• Flexible b-PAIRED는 에이전트 성능에 더 정확하게 반응하기 때문에 Flexible PAIRED 및 기준 방법보다 더 빠르게 학습한다.