[논문 리뷰] Learning word-referent mappings and concepts from raw inputs

Wai Keen Vong, Brenden M. Lake|arXiv (Cornell University)|2020. 03. 12.

Multimodal Machine Learning Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 사전에 분할된 물체 없이 원시 이미지와 텍스트에서 직접 어휘-대상 맵핑을 학습하는 자기지도 학습 딥 러닝 모델을 제시한다. 교차 상황 학습을 통해 어휘 의미를 해독하며, 정확한 어휘-객체 정렬을 달성하고, 새로운 사례로 일반화하며, 주의 맵을 통해 참조 대상을 국소화하고, 상호 배제성에 대한 경향을 보이며, 처리되지 않은 감각 입력에서 종단 간 어휘 학습을 실현한다.

ABSTRACT

How do children learn correspondences between the language and the world from noisy, ambiguous, naturalistic input? One hypothesis is via cross-situational learning: tracking words and their possible referents across multiple situations allows learners to disambiguate correct word-referent mappings (Yu & Smith, 2007). However, previous models of cross-situational word learning operate on highly simplified representations, side-stepping two important aspects of the actual learning problem. First, how can word-referent mappings be learned from raw inputs such as images? Second, how can these learned mappings generalize to novel instances of a known word? In this paper, we present a neural network model trained from scratch via self-supervision that takes in raw images and words as inputs, and show that it can learn word-referent mappings from fully ambiguous scenes and utterances through cross-situational learning. In addition, the model generalizes to novel word instances, locates referents of words in a scene, and shows a preference for mutual exclusivity.

연구 동기 및 목표

• 원시 시각적 및 언어적 입력에서 어휘-대상 맵핑을 학습하는 계산 모델을 개발하는 것.
• 픽셀 수준의 이미지와 처리되지 않은 텍스트에서 직접 교차 상황 어휘 학습이 가능할지 조사하는 것.
• 학습된 어휘의 새로운 예시로 일반화할 수 있는지, 그리고 장면 내에서 참조 대상을 국소화할 수 있는지 평가하는 것.
• 어휘 학습 시 상호 배제성과 같은 인지적 편향을 보이는지 조사하는 것.
• 모호하고 자연스러운 입력에서 어휘-대상 맵핑을 학습하기 위해 물체 분할이 필수적인지 평가하는 것.

제안 방법

• 모델는 대조적 식별 작업을 통해 자기지도 학습으로 훈련된다: 매칭되는지 여부를 판단하는 장면과 캡션 쌍을 구분한다.
• 각 입력은 2×2 격자에 배열된 MNIST 숫자의 56×56픽셀 이미지와 해당 장면의 숫자를 나타내는 네 단어로 구성된 캡션으로 이루어진다.
• 불일치하는 쌍은 어휘-객체 할당을 랜덤으로 재배열하여 만들며, 모호한 학습 맥락을 시뮬레이션한다.
• 모델는 사전에 물체 검출 없이도 전체 이미지를 직접 처리하는 컨볼루션 신경망(장면-CNN)을 사용하여 시각-언어적 표현을 공동으로 학습한다.
• 평가 시 주의 맵을 사용하여 목표 어휘의 예측된 참조 대상을 장면 내에서 국소화한다.
• 상호 배제성은 특정 숫자가 누락된 장면에서 훈련하고, 모호한 맥락에서 새로운 숫자를 선택하는 경향을 평가함으로써 테스트한다.

실험 결과

연구 질문

• RQ1 신경망은 원시 이미지와 처리되지 않은 텍스트에서 교차 상황 학습을 통해 정확한 어휘-대상 맵핑을 학습할 수 있는가?
• RQ2 원시 입력에서 훈련한 후, 학습된 어휘의 새로운 사례로 일반화할 수 있는가?
• RQ3 주의 메커니즘을 사용하여 장면 내에서 어휘의 정확한 참조 대상을 국소화할 수 있는가?
• RQ4 모델는 조기 어휘 학습에서 알려진 인지적 편향인 상호 배제성에 대한 경향을 보이는가?
• RQ5 원시 입력에서 효과적인 교차 상황 어휘 학습을 위해 물체 분할이 필수적인가?

주요 결과

• 장면-CNN 모델은 장면의 모호성이 증가함에도 불구하고 임의의 성능 이상을 달성하며, 비분할된 원시 이미지에서 교차 상황 학습이 가능하다는 것을 입증한다.
• 다양한 예시가 있는 3600개의 매칭 쌍 조건에서도 유의미하게 높은 성능(p < 0.01)을 유지하여, 물체 수준의 사전 처리 없이도 견고한 학습이 가능하다는 것을 확인한다.
• 모델는 학습된 어휘의 새로운 사례로 성공적으로 일반화하며, 학습된 표현이 개념 수준의 일반화를 지원한다는 것을 보여준다.
• 주의 맵을 통해 정확한 참조 대상을 높은 정확도로 국소화하여, 모델가 장면 내에서 의도된 어휘-객체 대응을 식별할 수 있음을 보여준다.
• 모델는 상호 배제성에 대한 측정 가능한 경향을 보이며, 모호한 맥락에서 새로운 숫자를 더 자주 선택하여 발달적 연구 결과와 일치한다.
• 장면-CNN는 물체 분할이 없는 베이스라인 모델보다 성능이 뛰어나지만, 오브제크트-CNN보다는 낮은 성능을 보이며, 물체 수준의 인덕티브 바이어스가 학습 효율을 향상시킨다는 것을 시사한다.