[논문 리뷰] Language is Power: Representing States Using Natural Language in Reinforcement Learning

Erez Schwartz, Guy Tennenholtz외 2명|arXiv (Cornell University)|2019. 10. 02.

Reinforcement Learning in Robotics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 강화학습에서 원시 시각 입력 대신 자연어를 사용하여 상태를 표현하는 것을 제안하며, 사전 훈련된 언어 모델을 활용해 의미를 인코딩한다. ViZDoom 환경에서 자연어 기반 에이전트는 샘플 효율성, 내성성, 최종 성능 면에서 시각 기반 에이전트를 능가한다. 이는 자연어가 강화학습에서 강력한 의미적 상태 표현 방식임을 보여준다.

ABSTRACT

Recent advances in reinforcement learning have shown its potential to tackle complex real-life tasks. However, as the dimensionality of the task increases, reinforcement learning methods tend to struggle. To overcome this, we explore methods for representing the semantic information embedded in the state. While previous methods focused on information in its raw form (e.g., raw visual input), we propose to represent the state using natural language. Language can represent complex scenarios and concepts, making it a favorable candidate for representation. Empirical evidence, within the domain of ViZDoom, suggests that natural language based agents are more robust, converge faster and perform better than vision based agents, showing the benefit of using natural language representations for reinforcement learning.

연구 동기 및 목표

• 자연어가 강화학습에서 효과적인 의미적 상태 표현으로 기능할 수 있는지 조사하기 위해.
• 복잡한 강화학습 환경에서 원시 시각 입력 및 의미적 세그멘테이션 표현 방식과 비교해 자연어 기반 상태 표현 방식을 평가하기 위해.
• 환경적 요란함과 부가적 요인에 노출되었을 때 자연어 기반 에이전트의 내성성과 샘플 효율성을 평가하기 위해.
• 주관적이고 비정형적이며 고차원적인 상태 정보를 인코딩하는 데 자연어를 사용하는 것이 가능한지 탐색하기 위해.
• 자연어 표현 방식이 강화학습 에이전트의 해석 가능성과 책임성 향상 잠재력을 평가하기 위해.

제안 방법

• 환경의 의미적 내용을 반영하는 규칙 기반 또는 학습된 파서를 통해 자연어 문장으로 상태를 표현한다.
• 사전 훈련된 컨텍스트 기반 언어 모델(예: BERT)을 사용해 문장 임베딩을 추출한 후, 1D 컨volutional 신경망을 통해 특징 추출을 수행한다.
• 결과적으로 생성된 문장 표현 방식을 표준 딥 강화학습 알고리즘(DQN 및 PPO 포함)에 입력으로 사용해 정책 학습을 수행한다.
• 프레임워크는 상태가 공간적, 물체적, 동작 관련 정보를 반영한 자연어 문장으로 기술되는 ViZDoom 환경에서 평가된다.
• 환경적 요란함과 시각적 혼잡함 등의 부가적 요인을 도입하여 내성성을 시험하고, 표현 방식 간 성능 저하 정도를 측정한다.
• 입력 문장 길이 및 언어 모델 내 패치 수의 영향을 분석하기 위해 하이퍼파rameter 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 원시 시각 입력에 비해 자연어 표현 방식이 딥 강화학습에서 샘플 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ2 환경적 요란함과 부가적 요인에 노출되었을 때 자연어 기반 에이전트의 내성성은 시각 기반 에이전트와 비교해 어떻게 다른가?
• RQ3 어떤 종류의 환경나 상태 공간에서 자연어 표현 방식이 특히 유리한가?
• RQ4 자연어 표현 방식은 픽셀이나 벡터 형태로 표현하기 어려운 주관적, 일시적, 비정형 정보를 효과적으로 인코딩할 수 있는가?
• RQ5 자연어 기반 상태 표현 방식은 강화학습 에이전트의 해석 가능성과 책임성 향상에 어느 정도 기여할 수 있는가?

주요 결과

• ViZDoom의 'Center를 방어하라' 시나리오에서 자연어 기반 에이전트는 시각 기반 에이전트보다 더 높은 최종 평균 보상을 기록하여 뛰어난 성능을 입증했다.
• 자연어 기반 에이전트는 더 빠르게 수렴했으며, 최고 성능에 도달하기 위해 필요한 학습 단계 수가 줄어들어 샘플 효율성이 뛰어났다.
• 내성성 평가 결과, 자연어 기반 에이전트는 시각 기반 에이전트보다 환경적 요란함과 시각적 혼잡함에 훨씬 더 강건한 것으로 나타났다.
• 환경에 방해 요소가 추가되었을 때도 자연어 기반 에이전트의 성능은 안정적으로 유지되어 더 강한 일반화 능력을 보였다.
• 아블레이션 연구 결과, 언어 모델의 입력 패치 수를 늘일수록 성능 향상이 있었으며, 더 rich한 텍스트 컨텍스트가 표현 품질 향상에 기여함을 시사했다.
• 본 연구는 자연어 표현 방식이 공간 관계, 물체 상태, 작업 관련 역학적 요소와 같은 복잡한 의미적 내용을 효과적으로 인코딩할 수 있음을 입증했으며, 원시 픽셀 입력에 비해 의미적 풍부함과 학습 효율성이 뛰어나다.