[논문 리뷰] From phonemes to images: levels of representation in a recurrent neural model of visually-grounded language learning

Lieke Gelderloos, Grzegorz Chrupała|arXiv (Cornell University)|2016. 10. 11.

Multimodal Machine Learning Applications참고 문헌 38인용 수 23

한 줄 요약

이 논문은 음소로 표기된 이미지 설명을 시각적 특징으로 매핑하는 데에 성공하는 스택형 게이트형 순환 신경망을 제안한다. 이는 어휘적 구조의 계층적 표현을 보여주는데, 하위 레이어는 음소적 형태와 단기적 의존성을 인코딩하고, 상위 레이어는 의미적 의미와 장기적 의존성을 포착한다. 모델은 원시 음소에서 이미지에 이르기까지 형태-의미 매핑을 학습하며, 레이어 간에 점점 더 추상화된 표현을 형성한다.

ABSTRACT

We present a model of visually-grounded language learning based on stacked gated recurrent neural networks which learns to predict visual features given an image description in the form of a sequence of phonemes. The learning task resembles that faced by human language learners who need to discover both structure and meaning from noisy and ambiguous data across modalities. We show that our model indeed learns to predict features of the visual context given phonetically transcribed image descriptions, and show that it represents linguistic information in a hierarchy of levels: lower layers in the stack are comparatively more sensitive to form, whereas higher layers are more sensitive to meaning.

연구 동기 및 목표

• 음소 수준의 입력을 사용하여, 소음이 있는 다중모odal 입력에서 어린이가 어떻게 언어를 습득하는지 시뮬레이션함으로써, 어휘적 기반 언어 습득을 모델링한다.
• 원시 감각적 데이터를 기반으로 훈련된 스택형 순환 네트워크가 음소에서 의미에 이르는 계층적 언어 표현을 학습할 수 있는지 조사한다.
• 깊은 RNN의 각 레이어가 형태와 의미를 어떻게 인코딩하는지, 그리고 시간적 의존성이 레이어 간에 어떻게 표현되는지 분석한다.
• 벡터 표현을 통해 음소 유사성과 의미 유사성을 모두 포착할 수 있는지 평가한다.
• 단어 분할된 입력을 넘어서, 연속된 음성 신호에서 시각적 특징으로 이르는 엔드 투 엔드 학습의 가능성을 탐색한다.

제안 방법

• 모델은 음소 시퀀스를 한 개씩 처리하는 스택형 게이트형 순환 유닛(Gated Recurrent Units, GRUs)을 사용하여 레이어 간에 분산된 의미 표현을 구축한다.
• 각 문장은 MS-COCO 데이터셋에서 제공하는 음소 표기로 표현되며, 스택형 GRU 레이어를 통해 순차적으로 처리된다.
• 최상위 GRU의 최종 은닉 상태는 이미지 특징 공간으로 투영되며, 대조 손실을 통해 참값 시각적 특징과 비교된다.
• 모델은 예측된 이미지 특징과 실제 특징 간의 거리를 최소화하도록 훈련되어, 형태-의미 매핑의 엔드 투 엔드 학습이 가능해진다.
• 분석에는 활성화 벡터 간 코사인 유사도 비교, 편집 거리 상관관계, 레이어 간 최근접 이웃 문자열 위치 추적 등이 포함된다.
• 모델 평가는 인간의 유사도 판단, 편집 거리, 시각적 특징 재구성 성능를 통해 수행된다.

실험 결과

연구 질문

• RQ1 음소 표기와 시각적 입력을 기반으로 훈련된 깊은 순환 네트워크에서, 각 레이어는 언어적 구조를 어떻게 표현하는가?
• RQ2 어떤 정도까지 하위 레이어는 음소적 형태를, 상위 레이어는 의미를 인코딩하는가? (언어 기반 학습 환경에서)
• RQ3 입력 시퀀스의 시간적 의존성이 레이어 간에 정보 유지 및 시간 스케일 측면에서 어떻게 나타나는가?
• RQ4 모델은 음소 유사성과 의미 유사성을 모두 은닉 표현에서 포착할 수 있는가?
• RQ5 모델의 내부 표현은 인간이 평가한 단어 유사도와 음소 거리와 어떻게 비교되는가?

주요 결과

• 첫 번째 은닉 레이어는 활성화 벡터 코사인 유사도와 음소 수준의 편집 거리 간에 가장 강한 음의 상관관계(ρ = -0.30)를 보이며, 음소적 형태에 매우 민감함을 나타낸다.
• 세 번째 은닉 레이어는 편집 거리와는 약한 상관관계(ρ = -0.15)를 보이지만, 형태 유사도보다 인간의 의미 유사도 판단과 더 높은 상관관계를 유지한다.
• 최근접 이웃 문장 간 공통 부분 문자열의 평균 위치는 레이어 1에서 끝부분 근처(평균 위치 = 12.1)에 있었으나, 레이어 3에서는 시작부근(평균 위치 = 16.8)으로 이동하여, 상위 레이어에서 더 긴 시간적 맥락을 유지함을 나타낸다.
• 모델은 음소적 설명에서 시각적 특징을 성공적으로 예측하여, 분할되지 않은 음소 시퀀스로부터 의미를 효과적으로 학습함을 보여준다.
• 모델 기반 코사인 유사도와 인간의 의미 유사도 간 피어슨 상관계수는 유의미하게 높다(p < 1e-4), 상위 레이어가 의미 있는 표현을 인코딩하고 있음을 확인한다.
• 모델의 최상위 레이어 활성화 패턴은 단어 경계를 예측할 수 있으며, 스택 구조를 따라 형태에서 의미로 점점 더 추상화된 표현을 형성함을 보여준다.