[논문 리뷰] Representation of linguistic form and function in recurrent neural networks

Ákos Kádár, Grzegorz Chrupała외 1명|arXiv (Cornell University)|2016. 02. 29.

Multimodal Machine Learning Applications참고 문헌 26인용 수 17

한 줄 요약

이 논문은 다중 작업 게이팅 순환 신경망에서 은닉 활성 패턴에 초점을 맞춰, 순환 신경망(RNN)이 언어적 형식과 기능을 어떻게 인코딩하는지 분석하기 위한 새로운 방법을 제시한다. 생략 점수와 상위-k 문맥 분석을 통해, 이미지 예측 경로는 의미적으로 풍부한 어휘 카테고리와 문법 기능에 선택적으로 주목하는 반면, 언어 모델은 문법적 구조에 더 민감하며, 장기적 의존성과 작업별 패턴을 인코딩하는 전용 은닉 유닛을 갖는다.

ABSTRACT

We present novel methods for analyzing the activation patterns of RNNs from a linguistic point of view and explore the types of linguistic structure they learn. As a case study, we use a multi-task gated recurrent network architecture consisting of two parallel pathways with shared word embeddings trained on predicting the representations of the visual scene corresponding to an input sentence, and predicting the next word in the same sentence. Based on our proposed method to estimate the amount of contribution of individual tokens in the input to the final prediction of the networks we show that the image prediction pathway: a) is sensitive to the information structure of the sentence b) pays selective attention to lexical categories and grammatical functions that carry semantic information c) learns to treat the same input token differently depending on its grammatical functions in the sentence. In contrast the language model is comparatively more sensitive to words with a syntactic function. Furthermore, we propose methods to ex- plore the function of individual hidden units in RNNs and show that the two pathways of the architecture in our case study contain specialized units tuned to patterns informative for the task, some of which can carry activations to later time steps to encode long-term dependencies.

연구 동기 및 목표

• . 논문은 언어적 구조 측면에서 RNN 은닉 상태를 해석 가능한 방법으로 분석하기 위한 방법을 개발하는 것을 목표로 한다.
• . 다중 작업 아키텍처에서 다양한 RNN 경로가 언어적 형식과 기능을 어떻게 인코딩하는지 조사한다.
• . RNN의 분산 표현이 언어의 문법적, 의미적, 정보 구조적 특성을 어떻게 반영하는지 밝혀내는 것이 목적이다.
• . 장기적 의존성을 및 작업에 관련된 패턴을 인코딩하는 전용 은닉 유닛을 특정하는 데 목적이 있다.
• . 이 연구는 다른 RNN 아키텍처와 작업으로의 언어 분석 일반화를 위한 프레임워크를 제공하는 데 목적이 있다.

제안 방법

• . 생략 점수는 개별 입력 토큰이 최종 예측에 기여하는 정도를 정량화하기 위한 방법으로, 토큰을 마스킹하고 예측 변화를 관찰함으로써 중요도를 측정한다.
• . 상위-k 문맥 방법은 각 은닉 유닛의 가장 활성화되는 문장적 맥락을 식별하여, 유닛 기능에 대한 정성적 및 정량적 분석을 가능하게 한다.
• . 은닉 유닛 활성화와 맥락 유형(예: 어휘 n-그램, 의존 관계) 간의 상호정보량을 계산하여 관련성 강도를 측정한다.
• . 맥락 유형에는 어휘 n-그램(1-그램, 2-그램, 3-그램)과 문법적 의존 관계(deprel n-그램)가 포함된다.
• . 활성화 분포는 각 은닉 유닛당 5%-밀도 백분위수 구간으로 이산화하여 통계적 비교를 가능하게 한다.
• . 각 경로 간 중앙값 상호정보량 비율의 변동성을 평가하기 위해 5000회 반복의 부트스트랩 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 . 이미지 예측과 언어 모델링이라는 서로 다른 작업에 훈련된 RNN 경로는 어휘 카테고리와 문법 기능 등의 언어적 특성에 대해 어떻게 다를까?
• RQ2 . RNN의 은닉 유닛은 어휘 내용을 초월해 문법적 구조나 의미 주제와 같은 추상적 언어 패턴을 얼마나 잘 인코딩하는가?
• RQ3 . 상호정보량을 통해 맥락 유형과의 관계를 측정했을 때, 두 경로는 문법적 정보와 의미적 정보를 어떻게 다르게 인코딩하는가?
• RQ4 . 각 경로에서 어떤 입력 토큰이 최종 예측에 가장 기여하는가? 이 기여도는 문법적 기능에 따라 어떻게 달라지는가?
• RQ5 . 은닉 유닛은 시간 단계를 넘어서 활성화를 유지하여 장기적 의존성을 인코딩할 수 있는가? 이러한 유닛은 두 경로 간에 어떻게 다를까?

주요 결과

• . 이미지 예측 경로(VISUAL)는 정보 구조에 민감하며, 주로 문장의 시작에 위치한 명사에 선택적으로 주목한다. 이는 주로 주제일 가능성이 높다.
• . VISUAL은 의미적 내용을 지닌 어휘 카테고리와 문법 기능(예: 특정 문법적 역할을 하는 명사, 동사)에 더 선택적으로 주목한다.
• . 언어 모델(TEXTUAL)은 국소적인 문법적 특성에 더 민감하며, 은닉 유닛이 의존 관계와 같은 문법적 구성에 더 강한 연관성을 보인다.
• . 은닉 유닛과 의존 관계(deprel) 맥락 간 중앙값 상호정보량은 TEXTUAL에서 VISUAL보다 유의미하게 높으며, 부트스트랩 분포 간 겹침이 없다.
• . 두 경로의 은닉 유닛은 모두 특화되어 있다: 일부는 특정 문법적 카테고리나 의미 주제를 인코딩하고, 일부는 시간 단계를 넘어서 활성화를 유지하여 장기적 의존성 인코딩을 지원한다.
• . 생략 점수 방법은 핵심 입력 토큰을 효과적으로 식별하며, 이는 의미적 내용과 문법적 기능이 함께 예측 기여도에 영향을 준다는 것을 드러낸다.