[논문 리뷰] lamBERT: Language and Action Learning Using Multimodal BERT

Kazuki Miyazawa, Tatsuya Aoki외 2명|arXiv (Cornell University)|2020. 04. 15.

Topic Modeling참고 문헌 27인용 수 11

한 줄 요약

이 논문은 BERT 기반의 다중모달 모델인 lamBERT를 제안하며, BERT를 다중모달 표현으로 확장하고 강화학습과 융합하여 언어와 행동 학습을 통합한다. 이 모델은 다중작업 및 전이학습 설정에서 기준 모델 대비 더 높은 누적 보상을 달성하여, 몸체적 에이전트의 지능형 언어 이해를 위한 마스크된 언어 모델링을 통한 사전학습의 효과성을 입증한다.

ABSTRACT

Recently, the bidirectional encoder representations from transformers (BERT) model has attracted much attention in the field of natural language processing, owing to its high performance in language understanding-related tasks. The BERT model learns language representation that can be adapted to various tasks via pre-training using a large corpus in an unsupervised manner. This study proposes the language and action learning using multimodal BERT (lamBERT) model that enables the learning of language and actions by 1) extending the BERT model to multimodal representation and 2) integrating it with reinforcement learning. To verify the proposed model, an experiment is conducted in a grid environment that requires language understanding for the agent to act properly. As a result, the lamBERT model obtained higher rewards in multitask settings and transfer settings when compared to other models, such as the convolutional neural network-based model and the lamBERT model without pre-training.

연구 동기 및 목표

• 다중모달 표현을 사용하여 몸체적 에이전트에서 언어와 행동 학습을 통합하는 통합 프레임워크를 개발한다.
• 로봇 학습에서 인간의 모호한 언어 명령어와 동적인 환경의 과제를 해결한다.
• 언어 및 시각 모odal에서의 사전학습을 통해 이식 가능하고 다중작업이 가능한 정책을 가능하게 한다.
• BERT 스타일의 사전학습이 몸체적 언어 이해를 위한 강화학습에서 의사결정을 향상시키는지 조사한다.
• 대규모 레이블이 부여된 데이터셋에 의존하지 않고도 자가수집한 경험으로부터 학습할 수 있도록 한다.

제안 방법

• 텍스트와 시각적 타일 상태의 토큰 임베딩을 연결하여 BERT 아키텍처를 다중모달 입력을 처리할 수 있도록 확장한다.
• 공통된 언어-환경 표현을 학습하기 위해 보조적인 사전학습 목표로 마스크된 언어 모델링 작업을 도입한다.
• 강화학습 설정에서 정책 네트워크의 특징 추출기로 사전학습된 다중모달 BERT 인코더를 사용한다.
• 희소 밀도 보상과 함께 강화학습을 적용하여 에이전트가 격자 세계 환경에서 자연어 지시를 따르도록 훈련시킨다.
• 자기주의 어텐션 메커니즘을 활용하여 언어 토큰과 환경 내 요소 간의 의존성을 모델링한다.
• 어텐션 가중치를 활용하여 사전학습이 의사결정 및 표현 학습에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 마스크된 언어 및 시각 입력에서의 사전학습이 언어 조건의 탐색에서 제로샷 및 희소샷 전이 성능을 향상시키는가?
• RQ2 다중모달 BERT 사전학습이 강화학습 설정에서 공동 언어-환경 표현의 품질에 어떤 영향을 미치는가?
• RQ3 보조적인 마스크된 예측 작업이 다중작업 및 전이학습 시나리오에서 샘플 효율성과 누적 보상에 기여하는가?
• RQ4 사전학습된 모델의 어텐션 메커니즘이 의사결정 과정에서 관련 있는 언어 및 시각적 자극에 의미 있는 주의를 기울이는가?
• RQ5 통합 아키텍처가 자기주도적 사전학습과 강화학습을 통해 언어 이해와 행동 정책을 효과적으로 동시에 학습시킬 수 있는가?

주요 결과

• lamBERT는 다중작업 강화학습 설정에서 CNN 기반 기준 모델보다 유의미하게 높은 누적 보상을 달성했다.
• 사전학습이 없는 변종 대비 lamBERT가 뛰어난 성능을 보여, 자기주도적 마스크 예측 사전학습의 이점을 입증했다.
• 모델는 전이학습 시나리오에서 성능 향상을 보이며, 사전학습된 표현이 다양한 작업 간에 일반화됨을 시사했다.
• 어텐션 시각화 결과, 사전학습된 모델이 의미적으로 관련 있는 언어 토큰과 환경적 특징에 주의를 기울이는 것으로 나타나, 효과적인 개념 기반화가 이루어졌음을 시사했다.
• 보조적인 마스크 예측 작업이 정책 학습에 기여했으며, 이는 더 높은 보상과 향상된 일반화 능력으로 확인되었다.
• BERT 스타일의 사전학습과 강화학습의 통합은 희소 보상과 제한된 레이블이 부여된 데이터에서 효과적인 학습을 가능하게 했다.