[논문 리뷰] The Natural Language of Actions

Guy Tennenholtz, Shie Mannor|arXiv (Cornell University)|2019. 02. 04.

Reinforcement Learning in Robotics참고 문헌 31인용 수 8

한 줄 요약

이 논문은 자연어 처리에 영감을 받아, 시연된 궤적을 사용하여 분산형, 문맥 기반 동작 표현을 학습하는 Act2Vec 프레임워크를 소개한다. 행동을 '행동의 자연어' 속의 단어로 모델링함으로써 강화 학습의 상태 표현, Q-값 근사, 탐색 효율성을 향상시킨다. 이는 내비게이션, 그림 그리기, 스타크래프트 II 작업에서 성능 향상을 입증한 바 있다.

ABSTRACT

We introduce Act2Vec, a general framework for learning context-based action representation for Reinforcement Learning. Representing actions in a vector space help reinforcement learning algorithms achieve better performance by grouping similar actions and utilizing relations between different actions. We show how prior knowledge of an environment can be extracted from demonstrations and injected into action vector representations that encode natural compatible behavior. We then use these for augmenting state representations as well as improving function approximation of Q-values. We visualize and test action embeddings in three domains including a drawing task, a high dimensional navigation task, and the large action space domain of StarCraft II.

연구 동기 및 목표

• 강화 학습에서 의미 있고 맥락 기반의 행동 표현을 학습하기 위한 일반적 프레임워크 개발
• 환경 내에서 허용되거나 호환 가능한 행동에 대한 사전 지식을 시연된 궤적을 통해 추출
• 행동 역사 임베딩을 상태 표현에 통합하여 강화 학습 성능 향상
• 유사한 행동을 군집화하여 큰 행동 공간 환경에서의 탐색 효율성 향상
• 학습된 벡터 공간에서 행동 간 의미 관계를 시각화하고 해석 가능하게 하기

제안 방법

• Act2Vec는 음성 샘플링을 사용하는 연속 스킵그램 모델(SGNS)을 활용하여, 시연된 궤적 내에서의 맥락 공존 관계를 기반으로 d차원 행동 표현을 학습한다.
• 이 방법은 행동을 단어로, 행동 시퀀스 내의 이웃 행동을 맥락으로 모델링하여, 점별 상호정보량(PMI)을 통해 의미적 유사성과 관계를 포착한다.
• 행동 임베딩은 현재 상태와 학습된 행동 역사 임베딩을 조합하여 상태 표현을 보강하고, 정책 학습을 위한 통합 표현을 형성한다.
• 군집 기반 탐색 전략이 도입되었으며, 행동 임베딩 유사도에 따라 행동을 군집화하여 큰 행동 공간 환경에서의 중복 탐색을 줄인다.
• 프레임워크는 시연자 정책의 궤적 코퍼스에서 훈련되며, 순차적 의존성을 모델링하기 위해 고정 길이 |H|의 맥락 창을 사용한다.
• 행동 임베딩 공간 내에서 행동 간 구조적 관계를 활용함으로써 Q-값 함수 근사가 향상된다.

실험 결과

연구 질문

• RQ1 시연된 궤적에서 학습된 행동 표현이 유사성, 대칭성과 같은 의미적 관계를 얼마나 잘 포착할 수 있는가?
• RQ2 맥락 기반 행동 임베딩이 강화 학습에서 상태 표현을 어떻게 향상시킬 수 있는가?
• RQ3 행동 임베딩이 큰 행동 공간 환경에서 Q-값 함수 근사와 샘플 복잡도를 어떻게 향상시킬 수 있는가?
• RQ4 유사 행동 군집화를 통해 행동 임베딩이 얼마나 효율적인 탐색을 가능하게 하는가?
• RQ5 행동 임베딩은 고차원적이고 복잡한 도메인, 예를 들어 스타크래프트 II와 같은 다양한 환경에서 얼마나 일반화되는가?

주요 결과

• Act2Vec는 내비게이션 및 그림 그리기 작업에서 행동 쌍의 2차원 투영을 통해 유사성과 대칭성과 같은 의미적 관계를 잘 포착하는 행동 임베딩을 성공적으로 학습했다.
• 행동 역사 임베딩을 상태 표현에 통합함으로써 순차적 의사결정이 필요한 작업에서 정책 성능 향상이 이루어졌다.
• 행동 간 구조적 관계를 활용함으로써 행동 임베딩이 Q-값 함수 근사 정확도를 높여 근사 오차를 감소시켰다.
• 군집 기반 탐색 전략은 기존의 부분 최적 행동 근처의 행동을 제거함으로써 큰 행동 공간 환경에서의 중복 탐색을 크게 줄였다.
• 스타크래프트 II 도메인에서는 RL 에이전트가 이를 학습하기 어려운 상황에서도 인간의 리플레이에서 유의미하고 인간이 직관적으로 이해할 수 있는 행동 간 관계(예: 유닛 명령)를 포착했다.
• 실험 결과는 사각형 그리기 및 고차원 내비게이션 작업에서 측정 가능한 성능 향상이 있었으며, 이는 다양한 도메인에 걸쳐 프레임워크의 일반화 능력을 입증한다.