[논문 리뷰] Multimodal Interactions Using Pretrained Unimodal Models for SIMMC 2.0

Joosung Lee, Kijong Han|arXiv (Cornell University)|2021. 12. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 SIMMC 2.0 챌린지에서 다중모odal 이해를 위해 사전학습된 단모달 모델(RoBERTa 및 DeIT)을 미세조정하는 다중모달 프레임워크를 제안한다. 시각적 및 텍스처적 표현을 정렬하기 위해 이미지-텍스트 매칭(ITM)과 배경-텍스트 매칭(BTM)이라는 두 가지 사전학습 작업을 도입하여, 하위과제 #1 및 #2에서 3위를 기록하고, 하위과제 #4 생성 과제에서는 68.2 F1 및 0.297 BLEU-4 점수로 준우승을 달성한다.

ABSTRACT

This paper presents our work on the Situated Interactive MultiModal Conversations 2.0 challenge held at Dialog State Tracking Challenge 10. SIMMC 2.0 includes 4 subtasks, and we introduce our multimodal approaches for the subtask \#1, \#2 and the generation of subtask \#4. SIMMC 2.0 dataset is a multimodal dataset containing image and text information, which is more challenging than the problem of only text-based conversations because it must be solved by understanding the relationship between image and text. Therefore, since there is a limit to solving only text models such as BERT or GPT2, we propose a multimodal model combining image and text. We first pretrain the multimodal model to understand the relationship between image and text, then finetune our model for each task. We achieve the 3rd best performance in subtask \#1, \#2 and a runner-up in the generation of subtask \#4. The source code is available at https://github.com/rungjoo/simmc2.0.

연구 동기 및 목표

• 이미지와 텍스트가 정확한 추론을 위해 필수적인 작업 중심 대화에서 다중모달 이해의 과제를 해결하기 위해.
• 패션/가구 쇼핑과 같은 복잡한 실제 상황에서 시각-언어적 관계를 다루는 데에 한계가 있는 단모달 모델(BERT, GPT2 등)의 한계를 극복하기 위해.
• 공동 시각-언어 표현을 활용하여 다중모달 대화 과제—의미 해석, 핵심 참조 해소, 대화 상태 추적, 응답 생성—의 성능을 향상시키기 위해.
• 하류 다중모달 NLP 과제에 대해 이미지-텍스트 정렬 및 다중작업 학습의 효과성을 검증하기 위해.

제안 방법

• 객체 수준의 시각-언어적 정렬을 위한 이미지-텍스트 매칭(ITM)과 장면 수준의 맥락 이해를 위한 배경-텍스트 매칭(BTM)을 위한 두 가지 대비 학습 목표를 사용하여 다중모달 모델을 사전학습한다.
• 각 SIMMC 2.0 하위과제에 대해 작업별 헤드와 공유 표현을 사용하여 사전학습된 다중모달 모델을 미세조정한다.
• 교차모달 주의 및 상호작용을 가능하게 하기 위해 DeIT(변형 가능한 이미지 트랜스포머)에서 유도한 시각적 특징과 RoBERTa-Large에서 유도한 텍스처적 특징을 통합한다.
• 하위과제 #2에서 객체 핵심 참조와 발언 분류를 공동 최적화하여 일반화 능력 향상과 후보 객체 필터링을 향상시킨다.
• 응답 생성을 위해 슬롯 값과 객체 이미지 표현을 GPT2에 통합하여 사실적 일관성과 관련성 향상을 도모한다.
• 각 하위과제에서 ITM, BTM, 시스템 발언 데이터, 다중작업 구성 요소의 기여도를 평가하기 위해 추상화 연구를 실시한다.

실험 결과

연구 질문

• RQ1 사전학습된 단모달 모델(RoBERTa 및 DeIT)을 효과적으로 조합하여 대화 시스템 내 다중모달 추론을 향상시킬 수 있는가?
• RQ2 이미지-텍스트 매칭(ITM) 및 배경-텍스트 매칭(BTM)에 대한 사전학습이 하류 다중모달 대화 성능 향상에 얼마나 효과적인가?
• RQ3 다중작업 학습 구성 요소(예: 발언 분류, 시스템 매칭)가 핵심 참조 해소 및 의미 해석에 얼마나 기여하는가?
• RQ4 시각적 특징(객체 및 배경 이미지)과 메타데이터(슬롯 값)가 다중모달 대화의 응답 생성 품질에 어떻게 기여하는가?
• RQ5 다양한 훈련 구성 요소(예: 시스템 발언 데이터, 객체 이미지)가 하위과제 전반에 걸쳐 모델 성능에 미치는 상대적 영향은 무엇인가?

주요 결과

• 제안된 모델은 하위과제 #1(다중모달 의미 해석)에서 테스트 정확도 93.1%로 3위를 기록하였으며, GPT2 베이스라인(73.5%)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 하위과제 #2(다중모달 핵심 참조 해소)에서 모델은 테스트 F1 점수 68.2를 기록하였으며, 베이스라인(44.1 F1)과 최고 성능를 기록한 베이스라인(‘all S’ 전략 기준 32.2 F1)보다도 뚜렷한 향상을 보였다.
• 추상화 연구 결과, 시스템 발언 데이터를 훈련 입력으로 사용함으로써 성능이 +1.2 F1 향상되어 강력한 데이터 증강 효과를 입증하였다.
• 응답 생성에 슬롯 값의 통합이 BLEU-4 점수를 +0.01 향상시켜, 응답의 시각적 및 대화 맥락 기반 정합성에 중요한 역할을 함을 시사하였다.
• 다중작업 학습은 하위과제 #2에서 +1.6 F1 향상을 이끌었으며, 발언 분류의 정확도는 99.5%에 도달했고, 시스템 매칭의 F1 점수는 93.24를 기록하였다.
• 하위과제 #4(응답 생성)에서 모델은 BLEU-4 점수 0.297를 기록하여 준우승을 달성하였으며, 객체 표현과 슬롯 값의 조합으로 인해 뚜렷한 성능 향상을 보였다.