[논문 리뷰] NLPGym -- A toolkit for evaluating RL agents on Natural Language Processing Tasks

Rajkumar Ramamurthy, Rafet Sifa외 1명|arXiv (Cornell University)|2020. 11. 16.

Topic Modeling참고 문헌 36인용 수 6

한 줄 요약

NLPGym은 시퀀스 태깅, 다중 레이블 분류, 질의 응답과 같은 핵심 자연어 처리(NLP) 작업에서 딥 강화학습(DRL) 에이전트를 평가하기 위한 상호작용형, Gym 호환 환경을 제공하는 오픈소스 파이썬 툴킷이다. 이 작업들을 사용자 정의 가능한 관측값, 행동, 보상 및 환경를 갖춘 마르코프 결정 과정(MDPs)으로 공식화함으로써, 표준 RL 프레임워크와의 통합을 가능하게 하고, PPO 및 DQN 알고리즘을 사용하여 6개의 작업에서 기준 성능 결과를 제공한다.

ABSTRACT

Reinforcement learning (RL) has recently shown impressive performance in complex game AI and robotics tasks. To a large extent, this is thanks to the availability of simulated environments such as OpenAI Gym, Atari Learning Environment, or Malmo which allow agents to learn complex tasks through interaction with virtual environments. While RL is also increasingly applied to natural language processing (NLP), there are no simulated textual environments available for researchers to apply and consistently benchmark RL on NLP tasks. With the work reported here, we therefore release NLPGym, an open-source Python toolkit that provides interactive textual environments for standard NLP tasks such as sequence tagging, multi-label classification, and question answering. We also present experimental results for 6 tasks using different RL algorithms which serve as baselines for further research. The toolkit is published at https://github.com/rajcscw/nlp-gym

연구 동기 및 목표

• 자연어 처리(NLP) 작업에서 강화학습 에이전트를 평가하기 위한 표준화되고 상호작용 가능한 환경의 부족을 해결하기 위해.
• 시퀀스 태깅, 다중 레이블 분류, 질의 응답과 같은 표준 NLP 작업 간 일관된 DRL 에이전트 벤치마킹을 가능하게 하기 위해.
• Stable-Baselines와 Ray RLlib와 같은 주요 RL 라이브러리와 호환되는 모듈형이고 확장 가능한 프레임워크를 제공하기 위해.
• PPO와 DQN을 사용하여 응용 분야에 특화된 보상 함수를 적용한 6개의 NLP 작업에서 기준 성능 메트릭을 수립하기 위해.
• 향후 텍스트 생성, 요약, 기계 번역 작업으로의 확장을 위한 기반을 마련하기 위해.

제안 방법

• 상태, 행동, 전이, 보상 구성 요소를 갖춘 마르코프 결정 과정(MDPs)으로 NLP 작업을 공식화하기 위해.
• OpenAI Gym의 API를 사용하여 Gym 호환 환경을 설계하여 reset(), step(), render() 메서드를 포함하여 원활한 통합을 가능하게 하기 위해.
• 데이터셋, 보상 함수, 관측값 특징 추출기 등 확장하거나 교체할 수 있는 모듈형 컴포넌트를 구현하기 위해.
• NLP 메트릭에 맞게 맞춤형 관측값 특징 추출기(예: FastText 임베딩)와 보상 함수(예: F1, ROUGE)를 지원하기 위해.
• 표준 RL 알고리즘 인터페이스를 통해 RL 프레임워크와의 엔드 투 엔드 훈련 및 추론 파이프라인을 구현하기 위해.
• 모델 예측 후 인간 레이블러가 레이블을 수정하여 환경를 업데이트함으로써 활성 학습 유사한 개선을 허용하는 훈련 루프 제공하기 위해.

실험 결과

연구 질문

• RQ1 통합적이고 상호작용 가능한 환경 프레임워크를 사용하여 표준 NLP 작업에서 강화학습 에이전트를 효과적으로 훈련하고 평가할 수 있는가?
• RQ2 특정 작업에 맞춘 보상 함수를 사용할 경우, 다양한 DRL 알고리즘(PPO, DQN 등)이 시퀀스 태깅, 다중 레이블 분류, 질의 응답 작업에서 어떻게 성능을 내는가?
• RQ3 커스터마이즈 가능한 특징 추출기와 보상 함수와 같은 모듈형 컴포넌트가 NLP 작업에서 에이전트 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 향후 NLP 중심의 강화학습 연구를 위한 안정적이고 확장 가능한 벤치마킹 플랫폼으로 기능할 수 있는가?
• RQ5 표준 RL 알고리즘과 응용 분야에 특화된 보상 함수를 사용할 경우, 6개의 다양한 NLP 작업에서 달성 가능한 기준 성능는 무엇인가?

주요 결과

• NLPGym은 PPO와 DQN을 사용하여 6개의 표준 NLP 작업에서 DRL 에이전트의 훈련을 성공적으로 가능하게 하여 실현 가능성과 일관성을 입증하였다.
• 시퀀스 태깅의 50개 샘플 평가에서 런닝 매치 스코어 약 0.85를 기록하여 예측 레이블과 레이블러의 레이블 간 강력한 일치를 보였다.
• 모듈형 설계 덕분에 커스텀 데이터셋, 보상 함수, 특징 추출기의 원활한 통합이 가능하여 실험의 유연성을 제공하였다.
• 환경에 인간의 개입을 통한 레이블 수정 및 재학습을 허용하는 엔드 투 엔드 훈련을 지원하여 성능 향상을 가능하게 하였다.
• 기준 결과 분석에서 PPO는 특히 시퀀스 태깅과 질의 응답 작업에서 DQN보다 뛰어난 성능을 보였으며, 순차적 의사결정 과정에서 더 나은 크레딧 할당 기능 덕분이었다.
• Stable-Baselines와 Ray RLlib와 같은 주요 RL 라이브러리와의 호환성 덕분에 넓은 도입과 재현 가능성을 확보하였다.