[논문 리뷰] Probing Text Models for Common Ground with Visual Representations

Gabriel Ilharco, Rowan Zellers외 2명|arXiv (Cornell University)|2020. 05. 01.

Multimodal Machine Learning Applications참고 문헌 23인용 수 12

한 줄 요약

이 논문은 BERT와 같은 언어 모델의 텍스트 표현을 시각 모델의 시각적 표현으로 매핑하는 경량 프로빙 모델을 제안하며, 순수하게 텍스트로 훈련된 모델들조차도 비시각적 의미적 구조를 내포하고 있음을 입증한다. 이 방법은 예측되지 않은 객체 카테고리로 일반화되며, 맥락이 성능에 상당한 영향을 미친다는 점을 보여주지만, 인간은 여전히 모든 모델보다 뛰어나다.

ABSTRACT

Vision, as a central component of human perception, plays a fundamental role in shaping natural language. To better understand how text models are connected to our visual perceptions, we propose a method for examining the similarities between neural representations extracted from words in text and objects in images. Our approach uses a lightweight probing model that learns to map language representations of concrete words to the visual domain. We find that representations from models trained on purely textual data, such as BERT, can be nontrivially mapped to those of a vision model. Such mappings generalize to object categories that were never seen by the probe during training, unlike mappings learned from permuted or random representations. Moreover, we find that the context surrounding objects in sentences greatly impacts performance. Finally, we show that humans significantly outperform all examined models, suggesting considerable room for improvement in representation learning and grounding.

연구 동기 및 목표

• 순수하게 언어로 훈련된 모델들, 예를 들어 BERT와 같은 모델의 텍스트 표현에 잔여 시각적 의미적 구조가 포함되어 있는지 조사하는 것.
• 이러한 텍스트 표현이 경량 프로빙 모델을 사용해 시각적 특징으로 얼마나 잘 매핑될 수 있는지 평가하는 것.
• 이러한 매핑이 예측되지 않은 객체 카테고리로 일반화되는지 평가하는 것.
• 언어적 맥락이 교차 모odal 정렬의 품질에 미치는 영향을 조사하는 것.
• 언어를 시각적 개념에 기반시키는 데 있어 인간 성능과 모델 성능을 비교하는 것.

제안 방법

• 경량 프로빙 모델이 텍스트 모델(예: BERT)의 문맥 기반 단어 표현을 사전 훈련된 시각 모델의 시각적 특징으로 매핑하도록 훈련된다.
• 프로브는 텍스트 표현에서 시각적 임베딩 공간으로의 선형 변환을 학습하여 새로운 객체 카테고리에 대해 제로샷 일반화를 가능하게 한다.
• 프로빙은 문장 내 구체적인 단어에서 수행되며, 해당 객체를 포함한 이미지에서 시각적 특징이 추출된다.
• 모델은 텍스트 표현이 해당 시각적 특징과 얼마나 잘 정렬되는지 평가되며, 새로운 객체 카테고리에 대해 제로샷 전이를 사용한다.
• 의미 있는 교차 모달 정렬을 분리하기 위해 무작위 또는 랜덤으로 재배열된 표현과 성능을 비교한다.
• 문장의 맥락을 체계적으로 변화시켜 프로빙 정확도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 순수하게 텍스트로 훈련된 모델들, 예를 들어 BERT와 같은 모델이 시각적 의미 정보를 인코딩할 수 있으며, 이를 프로빙하고 시각적 특징으로 매핑할 수 있는가?
• RQ2 텍스트에서 시각으로의 매핑이 프로빙 훈련 중에 볼 수 없었던 객체 카테고리로 일반화되는가?
• RQ3 목표 단어 주변의 언어적 맥락이 텍스트-시각 매핑의 품질에 어떤 영향을 미치는가?
• RQ4 학습된 매핑이 무작위 또는 랜덤으로 재배열된 표현보다 얼마나 뛰어나게 성능을 내는가?
• RQ5 언어를 시각적 객체에 기반시키는 데 있어 인간의 성능는 모델 성능보다 어느 정도 뛰어나게 되는가?

주요 결과

• BERT의 텍스트 표현은 시각적 특징으로 의미 있게 매핑될 수 있으며, 이는 순수하게 텍스트로 훈련된 모델들 내부에 시각적 의미적 구조가 암묵적으로 인코딩되어 있음을 시사한다.
• 프로빙 모델은 예측되지 않은 객체 카테고리로 일반화되며, 학습된 매핑의 강건성과 이식 가능성(트랜스퍼러빌리티)을 보여준다.
• 실제 텍스트 표현에서 학습된 매핑은 무작위 또는 랜덤으로 재배열된 표현보다 유의미하게 뛰어나며, 비트리비얼한 정렬이 있음을 확인한다.
• 목표 단어 주변의 맥락은 프로빙 성능에 측정 가능하고 상당한 영향을 미치며, 표현의 맥락 민감성(컨텍스트 수용성)을 나타낸다.
• 모든 검토된 모델보다 인간이 언어를 시각적 객체에 기반시키는 데서 뚜렷이 뛰어나며, 현재의 표현 학습 기술에 격차가 있음을 시사한다.