[논문 리뷰] Visual Grounding Strategies for Text-Only Natural Language Processing

Damien Sileo|arXiv (Cornell University)|2021. 03. 25.

Multimodal Machine Learning Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 다중모달 프리트레인을 통해 텍스트 전용 NLP 작업을 향상시키기 위해 전이된 기반 설정과 연관 기반 설정이라는 두 가지 시각적 기반 전략을 제안한다. 플레이스홀더 또는 이미지 검색을 통해 시각 신호를 통합함으로써 언어 모델링 및 일반 지식 추론 작업에서 성능 향상을 이루었으며, 특히 연관 기반 설정이 다양한 NLP 벤치마크에서 일관된 성능 향상을 보였다.

ABSTRACT

Visual grounding is a promising path toward more robust and accurate Natural Language Processing (NLP) models. Many multimodal extensions of BERT (e.g., VideoBERT, LXMERT, VL-BERT) allow a joint modeling of texts and images that lead to state-of-the-art results on multimodal tasks such as Visual Question Answering. Here, we leverage multimodal modeling for purely textual tasks (language modeling and classification) with the expectation that the multimodal pretraining provides a grounding that can improve text processing accuracy. We propose possible strategies in this respect. A first type of strategy, referred to as {\it transferred grounding} consists in applying multimodal models to text-only tasks using a placeholder to replace image input. The second one, which we call {\it associative grounding}, harnesses image retrieval to match texts with related images during both pretraining and text-only downstream tasks. We draw further distinctions into both strategies and then compare them according to their impact on language modeling and commonsense-related downstream tasks, showing improvement over text-only baselines.

연구 동기 및 목표

• 다중모달 프리트레인을 통해 시각 신호를 활용할 경우 순수 텍스트 기반 NLP 작업에서 성능 향상이 이루어지는지 조사하는 것.
• 원래 다중모달 작업을 위해 설계된 시각어휘 모델을 텍스트 전용 후행 응용에 적응시키는 도전 과제를 해결하는 것.
• 정확도, 효율성, 메모리 사용량 측면에서 다양한 시각적 기반 전략을 체계적으로 비교하는 것.
• 다중모달 트랜스포머에서 이미지 표현 품질과 계산 비용 간의 상호 상충 관계를 평가하는 것.
• 시각적 기반 전략이 텍스트 전용 프리트레인보다 더 나은 의미적 이해와 맥락 인식을 가능하게 하여, 특히 일반 지식 추론에서 성능 향상을 이끌어내는지 입증하는 것.

제안 방법

• 텍스트 전용 작업에 대해 다중모달 모델을 테스트할 때 이미지 입력을 위한 플레이스홀더를 사용하는 '전이된 기반 설정'을 제안하며, 텍스트 인코더가 학습한 표현을 유지한다.
• 사용자 정의 연관 모듈을 통해 사전 학습 및 추론 단계에서 대규모 외부 이미지 컬렉션에서 관련 이미지를 검색하는 '연관 기반 설정'을 도입한다.
• 텍스트와 시각적 특징 간의 크로스 어텐션을 사용하는 공통의 다중모달 트랜스포머 아키텍처를 활용하며, CNN에서 유도된 영역 기반 이미지 표현을 사용한다.
• 텍스트 및 이미지 특징에 대해 공동 마스킹 언어 모델링(JMLM)을 적용하여 사전 학습 단계에서 양 방식의 모odal에 동시에 주목할 수 있도록 한다.
• 연관 기반 전략에서 이미지 표현 크기를 최적화하고 효율적인 검색 기반 메커니즘을 사용함으로써 메모리 사용량을 줄인다.
• GLUE, SuperGLUE, SentEval 등의 표준 NLP 벤치마크에서 언어 모델링 및 일반 지식 추론 작업에 중점을 두고 전략을 평가한다.

실험 결과

연구 질문

• RQ1 캡션이 있는 이미지와 같은 시각 신호를 활용한 다중모달 프리트레인은 언어 모델링 및 텍스트 분류와 같은 순수 텍스트 기반 NLP 작업에서 성능 향상에 기여하는가?
• RQ2 정확도 및 효율성 측면에서 전이된 기반 설정과 연관 기반 설정 간의 성능 차이가 어떠한가?
• RQ3 이미지 표현 품질과 검색 정확도가 후행 NLP 성능에 어떤 영향을 미치는가?
• RQ4 이미지 표현 크기가 다중모달 트랜스포머에서 메모리 사용량과 모델 성능에 미치는 영향은 어떠한가?
• RQ5 시각적 기반 전략은 텍스트 전용 기반 모델에 비해 일반 지식 추론 및 타당성 검출 성능 향상에 얼마나 기여하는가?

주요 결과

• 연관 기반 설정 전략은 언어 모델링, 타당성 추정, 은유성 탐지, 논리적 관계 예측 등 다양한 작업에서 최고의 종합 성능을 기록하였다.
• 전이된 기반 설정은 추론 시 이미지가 필요로 하지 않기 때문에 후행 NLP 작업에서 뛰어난 성능을 보였다.
• 객체 기반 연관 기반 설정은 이미지 기반 검색에 비해 정확도와 강건성 측면에서 뛰어나며, 특히 제로샷 및 피셔샷 설정에서 유의미한 성능 향상을 보였다.
• 이미지 표현 크기를 줄일수록 메모리 효율성과 성능 간의 명백한 상충 관계가 발생하며, 최적의 균형은 더 작은 임bedding 차원에서 도출되었다.
• 캡션이 있는 이미지와 텍스트 전용 코퍼스를 함께 프리트레인하면, 이미지-캡션 쌍만으로 프리트레인하는 것보다 일반화 능력 향상과 도메인 편향 감소에 기여하였다.
• 시각적 기반 전략은 일반 지식 추론 작업에서 일관된 성능 향상을 이끌어내어, 텍스트 전용 지도 학습을 넘어서 의미적 및 맥락적 이해를 향상시킨다는 점을 시사한다.