[논문 리뷰] Action Assembly: Sparse Imitation Learning for Text Based Games with Combinatorial Action Spaces

Chen Tessler, Tom Zahavy외 3명|arXiv (Cornell University)|2019. 05. 23.

Multimodal Machine Learning Applications참고 문헌 36인용 수 11

한 줄 요약

이 논문은 압축 감쇠 기반의 강화 학습 기법과 복합 행동 공간을 가진 텍스트 기반 게임을 해결하기 위해 압축 감쇠와 타깃 학습을 융합한 계산적으로 효율적인 방법인 희소 타깃 학습(Sparse-IL)을 제안한다. 밀도 높은 단어 임베딩 합에서 의미 있는 자연어 행동을 재구성하기 위해 새로운 정수 K-직교 매칭 퇴적법(IK-OMP) 알고리즘을 사용함으로써, 이 방법은 완전한 Zork1 게임—약 1,000만 개의 가능한 행동을 포함—을 완벽한 전문가 시연와 노이즈가 있는 전문가 시범 둘 다를 사용하여 성공적으로 해결하였다.

ABSTRACT

We propose a computationally efficient algorithm that combines compressed sensing with imitation learning to solve text-based games with combinatorial action spaces. Specifically, we introduce a new compressed sensing algorithm, named IK-OMP, which can be seen as an extension to the Orthogonal Matching Pursuit (OMP). We incorporate IK-OMP into a supervised imitation learning setting and show that the combined approach (Sparse Imitation Learning, Sparse-IL) solves the entire text-based game of Zork1 with an action space of approximately 10 million actions given both perfect and noisy demonstrations.

연구 동기 및 목표

• 행동 열거가 계산적으로 불가능한 텍스트 기반 게임의 복합 행동 공간 문제를 해결한다.
• 압축 감쇠와 단어 임베딩을 활용하여 기존 타깃 학습의 큰 행동 공간에서의 비효율성을 극복한다.
• 자연어 환경에서 불완전하거나 노이즈가 있는 전문가 시범으로부터도 강건한 정책 학습을 가능하게 한다.
• 사전 훈련된 단어 임베딩을 활용해 의미적으로 유사한 행동(예: '내려놓기', '던지기', '기부하기') 간의 일반화를 가능하게 한다.
• 완전한 행동 열거 없이도 복잡한 텍스트 기반 게임(예: Zork1)을 종단 간 솔루션으로 해결한다.

제안 방법

• 게임 상태를 밀도 높은 연속적 표현(행동 a_SoE)으로 매핑하기 위해 신경망 인코더를 사용하며, 이는 의도한 행동의 단어 임베딩 합으로 정의된다.
• 연속적 임베딩 벡터 a_SoE로부터 가장 가능성 있는 Bag-of-Words(BoW) 행동을 재구성하기 위해 정수 K-직교 매칭 퇴적법(IK-OMP)을 적용한다.
• 후보 BoW 행동을 평가하고 환경에서 실행할 최적의 행동을 선택하기 위해 적합도 함수를 통합한다.
• 선택된 행동을 언어 모델에 입력하여 게임 인터프리터가 분석할 수 있는 자연어 명령어(a_env)를 생성한다.
• 예측된 a_SoE 벡터와 시범된 a_SoE 벡터 간의 평균 제곱오차(MSE)를 사용해 지도 타깃 학습을 통해 인코더를 훈련시킨다.
• 사전 훈련된 단어 임베딩(GloVe 등)을 활용하여 의미적 일반화를 가능하게 하여, 동의어나 노이즈에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 압축 감쇠 기법이 큰 복합 행동 공간 내에서 학습된 임베딩 표현에서 자연어 행동을 효과적으로 복원하는 데 적합하게 적용될 수 있는가?
• RQ2 기존의 압축 감쇠 기법 대비, 제안된 IK-OMP 알고리즘이 노이즈가 있거나 손상된 임베딩 합으로부터 진짜 행동을 재구성하는 데 얼마나 잘 성능을 내는가?
• RQ3 임베딩 기반 행동 표현을 사용한 타깃 학습이 의미적으로 유사하지만 어휘적으로 다른 행동들 간에 얼마나 잘 일반화되는가?
• RQ4 압축 감쇠와 타깃 학습의 융합된 접근법이 전문가 시범만으로도 약 1,000만 개의 행동을 가진 전체 Zork1 게임을 해결할 수 있는가, 특히 노이즈가 있는 시범이 있을 경우에도?
• RQ5 엔드 투 엔드 학습 대비 사전 훈련된 단어 임베딩의 사용이 정책의 일반화 능력과 시범 오류에 대한 강건성에 상당한 기여를 하는가?

주요 결과

• Sparse-IL은 지도 타깃 학습과 전문가 시범을 사용하여, 처음으로 전체 Zork1 게임—1,000만 개의 행동 공간 포함—을 성공적으로 해결하였다.
• IK-OMP는 재구성 정확도와 하류 작업 성능 모두에서 기존의 압축 감쇠 기법과 DeepCS-2와 같은 엔드 투 엔드 모델을 능가하며, 특히 노이즈가 있는 시범 조건에서 뛰어난 성능을 보였다.
• 사전 훈련된 단어 임베딩의 의미적 인도적 편향 덕분에 의미적으로 유사한 행동(예: '내려놓기', '던지기', '기부하기') 간에 효과적으로 일반화되었다.
• 시범에서 하위 최적 행동을 40% 확률로 받더라도 Sparse-IL은 높은 성능을 유지하여 노이즈가 있는 전문가 데이터에 대한 강건성을 입증하였다.
• 훈련 과정에서 임베딩 표현의 신호 대 잡음 비율(SNR)이 일관되게 향상되어 깨끗한 행동 표현을 효과적으로 학습하고 있음을 나타냈다.
• 임베딩 합(a_SoE)을 지도 신호로 사용함으로써, 의미적으로 유사한 단어들이 임베딩 공간에서 기하학적으로 군집되어 있기 때문에, 직접 BoW 벡터를 예측하는 것보다 더 나은 일반화 성능을 달성하였다.