[논문 리뷰] UniT: Multimodal Multitask Learning with a Unified Transformer

Ronghang Hu, Amanpreet Singh|arXiv (Cornell University)|2021. 02. 22.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

UniT는 시각 전용(객체 검출), 언어 전용(GLUE 벤치마크), 다중모态(비전 질의응답, 시각적 함의)를 포함한 일곱 가지 다양한 작업을 함께 학습하는 통합형 트랜스포머 아키텍처를 제안한다. 공유된 인코더-디코더 구조와 작업별 헤드를 사용하며, 작업별로 특화된 모델보다 훨씬 적은 파라미터로 모든 작업에서 뛰어난 성능을 달성한다. 이는 단일 종단 간 모델에서 다영역, 다작업 학습이 효과적으로 이루어질 수 있음을 보여준다.

ABSTRACT

We propose UniT, a Unified Transformer model to simultaneously learn the most prominent tasks across different domains, ranging from object detection to natural language understanding and multimodal reasoning. Based on the transformer encoder-decoder architecture, our UniT model encodes each input modality with an encoder and makes predictions on each task with a shared decoder over the encoded input representations, followed by task-specific output heads. The entire model is jointly trained end-to-end with losses from each task. Compared to previous efforts on multi-task learning with transformers, we share the same model parameters across all tasks instead of separately fine-tuning task-specific models and handle a much higher variety of tasks across different domains. In our experiments, we learn 7 tasks jointly over 8 datasets, achieving strong performance on each task with significantly fewer parameters. Our code is available in MMF at https://mmf.sh.

연구 동기 및 목표

• 시각, 언어, 다중모달 추론 영역의 다양한 작업을 동시에 학습할 수 있는 단일 통합 트랜스포머 모델을 개발하는 것.
• 각 작업에 대해 별도의 모델을 훈련하는 대신 모든 작업 간에 파라미터를 공유하여 모델 복잡도를 줄이는 것.
• 동일한 아키텍처와 공유 파라미터를 사용해 이질적인 다수의 작업을 종단 간에 공동으로 훈련할 수 있도록 하는 것.
• 다양한 모odal과 영역 간의 다중작업 학습이 성능 향상과 일반화 능력을 향상시키는지 조사하는 것.
• 공유 표현이 단일모달 및 다중모달 작업 간 전이를 가능하게 하는지 평가하는 것.

제안 방법

• 모델은 이미지와 텍스트 입력을 문맥 기반 표현으로 변환하기 위해 별도의 시각 및 언어 인코더를 사용한다.
• 공유된 트랜스포머 디코더는 모든 모odal의 인코딩 표현에 주의를 기울이고 작업별 출력을 생성한다.
• 각 작업은 디코더의 최종 히든 상태에 작업별 출력 헤드를 적용하여 예측을 생성한다.
• 모델 전체는 모든 작업의 손실을 종합한 복합 손실 함수를 사용해 종단 간으로 훈련된다.
• 작업별 임bedding을 사용해 디코더를 대상 작업에 맞게 조절함으로써, 동일한 아키텍처 내에서 다양한 작업에 적응할 수 있도록 한다.
• 모든 작업 간에 인코더 및 디코더 파라미터를 공유함으로써 모델 크기를 최소화하면서도 파라미터 효율적인 다중작업 학습을 가능하게 한다.

Figure 2: An overview of our UniT model, which jointly handles a wide range of tasks in different domains with a unified transformer encoder-decoder architecture. Our model uses an image encoder to encode the visual inputs (Sec. 3.1 ), a text encoder to encode the language inputs (Sec. 3.2 ), and a

실험 결과

연구 질문

• RQ1 단일 트랜스포머 모델이 시각, 언어, 다중모달 추론 영역의 다양한 작업을 동시에 효과적으로 학습하고 수행할 수 있는가?
• RQ2 예를 들어 객체 검출과 자연어 추론 같은 이질적인 작업 간 공동 훈련이 작업별 특화 모델에 비해 성능을 향상시키는가?
• RQ3 작업 간 공유 파라미터가 모든 작업에서 강력한 성능을 유지하면서도 모델 크기를 줄일 수 있는가?
• RQ4 단일모달 및 다중모달 작업을 함께 학습하는 다중작업 학습이 각 개별 작업의 성능에 어떤 영향을 미치는가?
• RQ5 안정적이고 효과적인 공동 훈련을 위해 가장 중요한 하이퍼파라미터 및 아키텍처 선택(예: 디코더 깊이, 손실 가중치)은 무엇인가?

주요 결과

• UniT는 작업별 특화 모델보다 훨씬 적은 파라미터를 사용하면서도 객체 검출, VQA, 시각적 함의, GLUE 벤치마크 작업 등 일곱 가지 작업에서 뛰어난 성능을 달성한다.
• 통합 아키텍처와 공유 하이퍼파라미터를 사용하고도 DETR, VisualBERT, BERT와 같은 전문화된 최신 모델들과 비교해 유사한 성능을 보이며, 이는 성능 향상의 가능성을 시사한다.
• 다중작업 훈련은 객체 검출 및 자연어 추론 같은 단일모달 작업과 함께 훈련할 경우 비전 질의응답(VQA) 및 시각적 함의와 같은 다중모달 작업의 성능을 향상시킨다.
• 절단 실험 결과, 디코더의 깊이와 히든 사이즈를 늘릴수록 검출 성능이 향상되지만, 너무 큰 크기로 설정하면 훈련 발산이 발생한다.
• BERT 인코더의 모든 출력을 사용하는 것보다 [CLS] 토큰만 사용하는 것이 성능에 거의 영향을 주지 않지만, 계산 비용은 증가시킨다.
• 안정적인 훈련을 위해서는 작은 학습률(5e-5)과 작은 배치 크기가 필요하며, 큰 값은 훈련 불안정성과 발산을 유도한다.

Figure 3: Predictions of our model with a shared decoder (Table 3 line 5) across 8 datasets. Our model jointly handles a large variety of tasks above through a unified transformer encoder-decoder architecture.