[논문 리뷰] Effect of Vision-and-Language Extensions on Natural Language Understanding in Vision-and-Language Models.

Taichi Iki, Akiko Aizawa|arXiv (Cornell University)|2021. 04. 16.

Multimodal Machine Learning Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 시각-언어(V&L) 확장이 다중모odal 모델의 자연어 이해 능력에 미치는 영향을 조사한다. GLUE 벤치마크를 사용하여, 시각적 확장은 언어 성능을 저하시키며, 특히 V&L 사전학습이 구조적 수정보다 더 큰 부정적 영향을 미친다. 이는 언어 능력을 유지하는 데 초점을 맞춘 사전학습 전략의 필요성을 강조한다.

ABSTRACT

Extending language models with structural modifications and vision-and-language (V&L) pretraining are successful ways of making V&L models that can ground vision and language. Potential applications of these advanced models include multi-modal machine reading comprehension models and multi-modal dialogue models, which require language ability upon grounding. Although language capability is crucial for such applications, the impact of extending their visual capabilities on their language capabilities is not fully understood. This paper investigates how visual extension affects the language capability of V&L models using the GLUE benchmark. We found that visual extension causes some decreases in language capability and that V&L pretraining has a greater impact than structural modifications on the decreases. Our results suggest the need for further study on pretraining that can maintain or, if possible, improve a model's language capability.

연구 동기 및 목표

• 시각-언어 모델의 언어 능력에 대한 시각적 확장의 영향을 이해하는 것.
• 구조적 수정과 V&L 사전학습 중 어느 것이 언어 성능 저하에 더 큰 영향을 미치는지 평가하는 것.
• GLUE 벤치마크를 표준 측정 기준으로 삼아 V&L 모델의 언어 이해 능력을 평가하는 것.
• 다중모달 모델에서 시각적 기반과 언어적 숙련도 사이의 설계적 트레이드오프를 규명하는 것.

제안 방법

• 다양한 시각적 확장, 예를 들어 시각 인코더와 다중모달 어텐션 메커니즘을 포함하여 시각-언어 모델을 피니튜닝한다.
• 모odal별 토큰 임베딩과 크로스 어텐션 레이어와 같은 구조적 수정을 통해 시각 및 언어 입력을 통합한다.
• 시각적 및 텍스트적 표현을 정렬하기 위해 시각-언어 대비 목표를 사용하여 사전학습을 수행한다.
• 다양한 NLU 작업에서의 성능을 측정하기 위해 언어 이해 능력을 GLUE 벤치마크를 사용하여 평가한다.
• 시각 구성 요소를 추가하기 전과 후의 GLUE 점수를 비교하여 시각적 확장의 영향을 정량화한다.
• 통계적 분석을 통해 성능 저하에 기여하는 요인으로 V&L 사전학습과 구조적 변경을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 시각 능력을 추가함으로써 시각-언어 모델의 언어 이해 성능에 어떤 영향을 미치는가?
• RQ2 V&L 사전학습이냐 구조적 수정이냐 중 어느 것이 언어 능력에 더 큰 부정적 영향을 미치는가?
• RQ3 시각적 확장은 표준 NLU 벤치마크인 GLUE에서 성능을 어느 정도 저하시키는가?
• RQ4 기타 사전학습 전략을 통해 V&L 모델의 언어 능력을 유지하거나 향상시킬 수 있는가?

주요 결과

• 시각적 확장은 GLUE 벤치마크에서 언어 이해 성능에 측정 가능한 감소를 초래한다.
• V&L 사전학습은 구조적 수정보다 성능 저하에 더 크게 기여한다.
• 시각적 확장을 가진 모델은 텍스트 유추 및 감성 분석을 포함한 여러 GLUE 작업에서 성능 저하를 보인다.
• V&L 사전학습의 부정적 영향는 시각적 기반과 언어적 숙련도 사이의 트레이드오프를 시사한다.
• 구조적 수정만으로도 성능 저하가 작게 발생하여 언어 능력에 덜 파급적인 영향을 미친다.
• 결과적으로 향후 다중모달 모델에서 언어 이해 능력을 유지하거나 향상시키기 위한 사전학습 방법 개선이 필요하다.