[논문 리뷰] The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations

Felix Hill, Antoine Bordes외 2명|arXiv (Cornell University)|2016. 01. 01.

Topic Modeling인용 수 307

한 줄 요약

이 논문은 언어 모델에 대한 골디록스 원칙(Goldilocks Principle)을 제안하며, 중간 길이의 중간 텍스트 길이(너무 짧지도, 너무 길지도 않은)에 대한 창문 기반 메모리 표현을 명시적으로 저장할 경우, 어린이 책의 의미적 내용어 예측 성능이 최적화됨을 입증한다. 이러한 메모리를 사용하는 모델들은 표준 신경망 언어 모델을 능가하며, 특히 의미 있는 단어에 대해 뛰어난 성능을 보이고, 이러한 메모리에 대한 주의 메커니즘을 자기지도 학습으로 훈련시켜 CNN QA에서 최고 성능을 기록한다.

ABSTRACT

Abstract: We introduce a new test of how well language models capture meaning in children's books. Unlike standard language modelling benchmarks, it distinguishes the task of predicting syntactic function words from that of predicting lower-frequency words, which carry greater semantic content. We compare a range of state-of-the-art models, each with a different way of encoding what has been previously read. We show that models which store explicit representations of long-term contexts outperform state-of-the-art neural language models at predicting semantic content words, although this advantage is not observed for syntactic function words. Interestingly, we find that the amount of text encoded in a single memory representation is highly influential to the performance: there is a sweet-spot, not too big and not too small, between single words and full sentences that allows the most meaningful information in a text to be effectively retained and recalled. Further, the attention over such window-based memories can be trained effectively through self-supervision. We then assess the generality of this principle by applying it to the CNN QA benchmark, which involves identifying named entities in paraphrased summaries of news articles, and achieve state-of-the-art performance.

연구 동기 및 목표

• 어린이 책에서 의미를 얼마나 잘 포착하는지 평가하기 위해 문법 기능어 예측과 의미적 내용어 예측을 구분한다.
• 명시적인 장기 메모리 표현이 의미 예측 작업에서 표준 자동재귀 모델링 방식보다 성능을 향상시키는지 조사한다.
• 의미 있는 텍스트 정보를 유지하고 회상하기 위한 메모리 창 크기의 최적치를 규명한다.
• 제안된 메모리 메커니즘이 뉴스 요약문의 명명된 실체 인식과 같은 비서사적, 사실 기반 작업으로 일반화되는지 평가한다.
• 창문 기반 메모리 표현에 대한 주의 메커니즘이 외부 지도 없이 자기지도 학습을 통해 효과적으로 훈련될 수 있는지 탐구한다.

제안 방법

• 저자는 어린이 책에서 문법 기능어(예: 'the', 'and')의 예측과 낮은 빈도의 의미적 내용어(예: 'dog', 'happy')의 예측을 분리하는 새로운 벤치마크를 설계한다.
• 다양한 메커니즘을 사용해 이전 컨텍스트를 인코딩하는 최신 언어 모델들을 비교한다. 이 중에는 명시적인 메모리 표현을 사용하는 모델도 포함된다.
• 메모리 메커니즘은 길이가 변하는 중간 텍스트 스냅샷(창문)을 저장하며, 입력을 가로질러 이동하는 슬라이딩 창을 통해 고정 크기의 메모리 벡터를 업데이트한다.
• 이러한 메모리 창문에 대한 주의 메커니즘은 자기지도 학습을 통해 엔드 투 엔드로 훈련되며, 이로써 모델은 관련된 과거 내용에 동적으로 주의를 기울일 수 있다.
• 이 방법은 어린이 책 예측 작업에서 평가된 후, 명명된 실체 식별을 위한 CNN 질문 응답 벤치마크로 이식된다.
• 성능은 의미적 내용어와 명명된 실체 예측의 정확도로 측정되며, 메모리 창 크기의 분석 실험도 포함된다.

실험 결과

연구 질문

• RQ1 표준 자동재귀 모델 대비 어린이 책에서 의미적 내용어를 예측할 때 명시적인 장기 컨텍스트 표현을 저장함으로써 언어 모델 성능이 향상되는가?
• RQ2 의미 있는 정보의 유지에 최적화된 창 크기가 존재하는가? 만약 존재한다면 그 척도적 특성은 무엇인가?
• RQ3 창문 기반 메모리 표현에 대한 주의 메커니즘이 외부 지도 없이 자기지도 학습을 통해 효과적으로 훈련될 수 있는가?
• RQ4 제안된 메모리 메커니즘이 서사 텍스트를 초월해 사실 기반의 압축된 뉴스 요약문과 같은 분야로 일반화되는가? CNN QA 벤치마크에서의 성능으로 이를 입증한다.
• RQ5 명시적인 메모리 표현의 성능 이점이 문법 기능어와 의미적 내용어 모두 동일하게 유지되는가?

주요 결과

• 명시적인 메모리 표현을 사용하는 모델들은 어린이 책에서 의미적 내용어 예측에서 최신 신경망 언어 모델을 능가한다.
• 문법 기능어에 대해서는 명시적 메모리의 성능 향상 효과가 관찰되지 않아, 의미적 내용어에만 특이적인 이점임을 시사한다.
• 메모리 창 크기의 '최적 영역'(sweet spot)이 존재하며, 이는 너무 작거나 너무 큰 창 크기에서 성능이 최적화되지 않는다는 점을 의미한다.
• 창문 기반 메모리 표현에 대한 주의 메커니즘은 자기지도 학습을 통해 효과적으로 훈련될 수 있으며, 이는 과거 정보의 동적이고 맥락 의존적인 회상 가능성을 제공한다.
• 골디록스 원칙은 비서사적 텍스트로 일반화되며, 제안된 방법은 CNN 질문 응답 벤치마크에서 명명된 실체 인식 작업에서 최고 성능을 기록한다.
• 최적의 메모리 창 크기는 경험적으로 중간 크기임이 밝혀졌으며, 이는 과도하게 세분화되거나 과도하게 압축된 표현 방식이 성능을 떨어뜨린다는 것을 시사한다.