[논문 리뷰] The emergence of number and syntax units in LSTM language models

Yair Lakretz, Germán Kruszewski외 4명|arXiv (Cornell University)|2019. 03. 18.

Natural Language Processing Techniques참고 문헌 24인용 수 50

한 줄 요약

요약: 이 논문은 LSTM 언어 모델을 단일 뉴런 수준에서 분석하고 두 개의 전용 장거리 숫자 단위와 구문 단위를 식별하여 LSTM이 표면적 휴리스틱을 넘어서 주어–동사 일치에 구조에 민감한 메커니즘을 학습함을 보인다.

ABSTRACT

Recent work has shown that LSTMs trained on a generic language modeling objective capture syntax-sensitive generalizations such as long-distance number agreement. We have however no mechanistic understanding of how they accomplish this remarkable feat. Some have conjectured it depends on heuristics that do not truly take hierarchical structure into account. We present here a detailed study of the inner mechanics of number tracking in LSTMs at the single neuron level. We discover that long-distance number information is largely managed by two `number units'. Importantly, the behaviour of these units is partially controlled by other units independently shown to track syntactic structure. We conclude that LSTMs are, to some extent, implementing genuinely syntactic processing mechanisms, paving the way to a more general understanding of grammatical encoding in LSTMs.

연구 동기 및 목표

• 명시적 언어학적 선입지식 없이 LSTM 언어 모델이 문법적 수와 긴 거리 의존성을 어떻게 추적하는지 조사한다.
• 숫자 정보가 로컬로, 희소하게, 아니면 유닛 전반에 걸쳐 분산되어 저장되는지 판단한다.
• 구문 관련 유닛을 식별하고 이들의 숫자 유닛과의 상호 작용이 일치(합의)를 조절하는 방식을 밝힌다.
• 구문 유닛과 숫자 유닛 간의 연결성을 검토하여 구조가 특징의 전파에 어떻게 영향을 미치는지 이해한다.

제안 방법

• 숫자 전용 미세 조정 없이 Wikipedia 데이터를 사용하여 사전 학습된 650-650-650 LSTM 언어 모델을 사용한다.
• 내재 표현을 평가하기 위해 장거리 수 일치(NA-tasks) 작업과 구문 깊이 예측 데이터셋을 평가한다.
• 후보 숫자 단위의 필요성을 확인하기 위해 단일 단위 제거(ablations)를 수행한다.
• 게이트와 셀의 역학을 분석하여 제안된 숫자 단위가 의존성 전반에 걸쳐 숫자 정보를 저장하고 해제하는 방식을 특징짓는다.
• 숨겨진 상태에서 구문 깊이를 해독해 구문 단위를 식별하고, 인과 효과를 테스트하기 위해 ablations를 수행한다.
• 구문 단위와 숫자 단위 간의 구심/발산 연결을 검사하여 메모리 게이트에 대한 제어 신호를 추론한다.

실험 결과

연구 질문

• RQ1 LSTM 언어 모델이 비주석 데이터에서 구조 민감한 숫자 일치를 유도할 수 있는가?
• RQ2 장거리 의존성에 대해 전용 숫자 코딩 유닛이 존재하고 이들이 어떻게 제어되는가?
• RQ3 의존성을 통한 숫자 정보의 흐름을 조절하는 구문 관련 유닛이 존재하는가?
• RQ4 구문과 숫자 유닛이 네트워크 연결성을 통해 어떻게 상호 작용하여 문법적 인코딩을 지원하는가?

주요 결과

• 두 개의 전용 장거리 숫자 단위가 2개의 계층에서 나타나 주제의 단수/복수를 인코딩하고 중간 자료를 지나도 이를 보존한다.
• 구문 관련 유닛이 주어–동사 의존성을 인코딩하고 숫자 단위에 신호를 보내 언제 숫자 정보를 기억하거나 업데이트할지 제어한다.
• 분산적이고 구문에 무감각한 숫자 코드는 더 쉬운 작업에 대해 존재하지만 중첩된 구조를 넘어 숫자 정보를 강력하게 운반하지 못하므로 LR-숫자 유닛의 중요성을 강조한다.
• LR-숫자 단위의 소거는 장거리(일치/비일치 NA-태스크) 성능을 크게 저하시켜 장거리 합의에서 이들의 핵심 역할을 시사한다.
• 구문 유닛은 구조화된 게이트 역학을 보이고 숫자 단위에 강한 발향 영향을 행사하여 의존성에 대한 기억/업데이트 플래그를 제공하는 것으로 보이며, LSTM에서 실제 구문 처리 메커니즘이 존재함을 시사한다.