[논문 리뷰] MUTEX: Learning Unified Policies from Multimodal Task Specifications

Rutav Shah, Roberto Martín-Martín외 1명|arXiv (Cornell University)|2023. 09. 25.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

Mutex는 다중모달 작업 명세(텍스트, 음성, 이미지, 영상)를 이용해 마스크된 모델링과 교차모달 일치를 통해 이중 단계 훈련 과정을 거쳐 통합형 트랜스포머 기반 정책 네트워크를 학습한다. 이는 시뮬레이션과 실제 환경 모두에서 모든 6종류의 모달 유형(예: 텍스트 지시사항, 영상 데모)에서 최신 기술 수준의 성능을 달성하며, 서로 보완하는 교차모달 신호를 활용해 모달별 특화된 기준선을 뛰어넘는다.

ABSTRACT

Humans use different modalities, such as speech, text, images, videos, etc., to communicate their intent and goals with teammates. For robots to become better assistants, we aim to endow them with the ability to follow instructions and understand tasks specified by their human partners. Most robotic policy learning methods have focused on one single modality of task specification while ignoring the rich cross-modal information. We present MUTEX, a unified approach to policy learning from multimodal task specifications. It trains a transformer-based architecture to facilitate cross-modal reasoning, combining masked modeling and cross-modal matching objectives in a two-stage training procedure. After training, MUTEX can follow a task specification in any of the six learned modalities (video demonstrations, goal images, text goal descriptions, text instructions, speech goal descriptions, and speech instructions) or a combination of them. We systematically evaluate the benefits of MUTEX in a newly designed dataset with 100 tasks in simulation and 50 tasks in the real world, annotated with multiple instances of task specifications in different modalities, and observe improved performance over methods trained specifically for any single modality. More information at https://ut-austin-rpl.github.io/MUTEX/

연구 동기 및 목표

• 다양한 모달 유형(텍스트, 음성, 이미지, 영상)에 대해 별도의 모델 없이도 작업 명세를 따라갈 수 있는 통합형 로봇 정책을 개발하는 것.
• 기존 방법에서 각 모달(예: 언어, 영상, 음성)을 고립된 문제로 간주하는 경향으로 인한 한계를 해결하는 것.
• 다양한 모달을 함께 훈련시켜 제로샷 일반화 및 내성 강도를 향상시키고, 새로운 모달 조합에 일반화할 수 있도록 정책을 설계하는 것.
• 풍부한 영상 데모에서 유래한 교차모달 감독을 활용해 텍스트나 음성과 같은 더 흐린 모달의 표현을 향상시키는 것.
• 변동 길이의 다중모달 입력을 처리할 수 있고, 동시에 행동과 마스크된 신호를 예측할 수 있는 확장 가능한 아키텍처를 설계하는 것.

제안 방법

• 고정 길이의 로봇 관측 이력에 조건을 두고, 변수 길이의 다중모달 작업 명세(예: 텍스트, 음성, 이미지, 영상)를 주의 집중하는 Perceiver 스타일 인코더를 사용한다.
• 이중 단계 훈련 절차를 적용한다: 첫 번째 단계에서는 혼합된 모달에서 마스크된 모델링과 행동 클론을 통해 정책을 사전 훈련하고, 두 번째 단계에서는 교차모달 일치를 통해 다양한 모달 간 표현을 정렬한다.
• 각 모달 유형별로 별도의 마스크된 모델링 목적함수를 적용한다: 시각적 모달(영상, 이미지 목표)에는 L1 손실을, 텍스트 및 음성 모달에는 교차엔트로피 손실을 사용한다.
• 주어진 모달(예: 텍스트 지시사항)의 표현을 더 정보가 풍부한 영상 데모 표현과 일치시키기 위해 교차모달 일치 손실을 도입한다.
• 두 번째 단계에서 메인 정책 가중치를 동결한 채로 모달별 전이 헤드(예: 텍스트, 음성, 영상)를 미세조정한다.
• 텍스트 및 이미지 임베딩에는 CLIP을, 음성에는 Whisper를 사용하고, 영상 입력에는 R3M 특징을 활용하여 강력한 사전 훈련된 표현을 확보한다.

Figure 1: Overview. We introduce Mutex , a unified policy that learns to perform tasks conditioned on task specifications from multiple modalities (image, video, text, and speech) in the forms of instructions and goal descriptions. Mutex takes advantage of the complementary information across modali

실험 결과

연구 질문

• RQ1 각 모달 유형(텍스트, 음성, 이미지, 영상)에 대해 별도의 모델 없이도 단일 통합 정책을 훈련시켜 다양한 작업 명세 모달 간 일반화가 가능한가?
• RQ2 각 모달에 대해 별도의 모델을 훈련시키는 것과 비교해 다중모달에서의 공동 학습이 성능 향상에 기여하는가?
• RQ3 특히 풍부한 영상 데모와의 일치를 통해 더 흐린 모달을 강화함으로써 정책의 일반화 및 내성 강도가 어느 정도 향상되는가?
• RQ4 마스크되거나 불완전한 명세를 포함한 다양한 모달 조합이 주어졌을 때 모델의 성능은 어떠한가?
• RQ5 제안된 이중 단계 훈련 절차(마스크된 모델링 + 교차모달 일치)가 단일 목적함수 훈련보다 더 나은 표현 학습과 후속 정책 성능을 이끌어내는가?

주요 결과

• Mutex는 시뮬레이션과 실제 환경 모두에서 모든 6종류의 작업 명세 모달(텍스트 목표, 텍스트 지시사항, 이미지 목표, 영상 데모, 음성 목표, 음성 지시사항)에서 모든 모달별 특화 기준선을 능가한다.
• 시뮬레이션 환경에서 Mutex는 영상 데모에서 66%의 성공률, 이미지 목표에서 61%의 성공률를 기록했으며, 이는 단일 통합 모델임에도 불구하고 최고의 모달별 기준선(예: 영상 데모 67%, 이미지 목표 62%)을 초월한다.
• 실제 작업 환경에서 Mutex는 영상 데모에서 50%의 성공률, 텍스트 지시사항에서 46%의 성공률를 기록했으며, 모든 모달에서 최고의 모달별 기준선(예: 텍스트 지시사항 47%)을 초월한다.
• 제거 실험 결과, 마스크된 모델링 또는 교차모달 일치를 제거할 경우 성능이 크게 떨어지며, 이는 이중 단계 훈련 과정에서 두 구성 요소의 중요성을 확인한다.
• 모델은 새로운 조합의 모달 조합에 대해 효과적으로 일반화되며, 다양한 모달 유형 간 제로샷 전이 능력이 뛰어나다.
• 모델 크기 실험 결과, 성능 향상은 모델 용량 때문이 아니라 다중모달 훈련 덕분임을 확인했으며, S, M, L 세 가지 크기에서 모두 최고의 모달별 기준선을 뛰어넘는다.

Figure 2: Mutex ’s Model Architecture and Training Losses . Task specifications in each modality are encoded with pretrained modality-specific encoders, CLIP, and Whisper models [ 15 , 57 ] . During the first stage of training, one or more of these modalities are randomly selected and masked before