[논문 리뷰] Language Through a Prism: A Spectral Approach for Multiscale Language Representations

Alex Tamkin, Dan Jurafsky외 1명|arXiv (Cornell University)|2020. 11. 09.

Topic Modeling참고 문헌 72인용 수 22

한 줄 요약

이 논문은 깊이 있는 언어 표현에서 다중 척도 언어적 구조를 분리하기 위해 이산余弦변환(DCT)을 사용하는 스펙트럼적 접근을 제안한다. 입력 시퀀스 전반에 걸친 뉴런 활성화에 스펙트럼 필터를 적용함으로써, 단어 수준, 발화 수준, 또는 문서 수준의 정보를 고립시켜 다양한 척도에 특화된 작업에서 성능 향상을 이룬다. 주요 기여는 특정 척도에 특화되도록 뉴런을 훈련시키는 프리즘 레이어이며, 이는 장거리 맥락 모델링을 향상시키고, BERT보다 다중 척도 NLP 작업에서 뛰어난 성능을 내는 데 기여한다.

ABSTRACT

Language exhibits structure at different scales, ranging from subwords to words, sentences, paragraphs, and documents. To what extent do deep models capture information at these scales, and can we force them to better capture structure across this hierarchy? We approach this question by focusing on individual neurons, analyzing the behavior of their activations at different timescales. We show that signal processing provides a natural framework for separating structure across scales, enabling us to 1) disentangle scale-specific information in existing embeddings and 2) train models to learn more about particular scales. Concretely, we apply spectral filters to the activations of a neuron across an input, producing filtered embeddings that perform well on part of speech tagging (word-level), dialog speech acts classification (utterance-level), or topic classification (document-level), while performing poorly on the other tasks. We also present a prism layer for training models, which uses spectral filters to constrain different neurons to model structure at different scales. Our proposed BERT + Prism model can better predict masked tokens using long-range context and produces multiscale representations that perform better at utterance- and document-level tasks. Our methods are general and readily applicable to other domains besides language, such as images, audio, and video.

연구 동기 및 목표

• 자기어, 문서 수준까지의 다양한 척도에서 언어적 구조를 표현하는 딥 랭귀지 모델(BERT 등)의 작동 방식을 이해하기 위해.
• 사전에 정의된 언어학적 구조에 의존하지 않고, 신경망 활성화에서 다양한 시간 척도의 정보를 고립하고 제어할 수 있는 일반적인 프레임워크를 개발하기 위해.
• 특정 척도에서의 구조를 캡처하도록 뉴런을 훈련시켜 척도에 특화된 NLP 작업에서의 성능을 향상시키기 위해.
• 더 넓은 시간 척도의 정보를 유지하도록 제약을 두어 장거리 맥락 모델링을 향상시키기 위해.
• 신호 처리 분야의 스펙트럼 분석 기법을 NLP에 확장하여, 다중 척도 표현에 대한 해석 가능성과 제어력을 제공하기 위해.

제안 방법

• 각 뉴런의 활성화 시퀀스에 대해 입력 토큰 전반에 걸쳐 이산余弦변환(DCT)을 적용하여 주파수 도메인에서 표현한다.
• 스펙트럼 필터링(저통과, 대역통과, 고통과)을 사용하여 뉴런 활성화에서 특정 시간 척도에 해당하는 성분을 선택적으로 제거하거나 유지한다.
• 빠른(단어 수준) 또는 느린(문서 수준) 변동을 강조함으로써 척도 분리된 표현을 구성한다.
• 프리즘 레이어—학습 중에 서로 다른 뉴런에 다른 스펙트럼 필터를 적용하는 학습 가능한 모듈—를 도입하여 뉴런들이 서로 다른 척도에 특화되도록 유도한다.
• 프리즘 레이어를 갖춘 BERT 기반 모델을 훈련시켜 장거리 의존성에 더 민감한 다중 척도 표현을 생성한다.
• DCT 계수 감쇠 전략을 사용하여 관련이 없는 주파수 성분을 억제함으로써 목표 척도에서의 구조를 고립시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델(BERT 등)이 다중 척도에서 언어적 구조를 얼마나 잘 인코딩하는가?
• RQ2 아키텍처 변경 없이도 스펙트럼 필터링을 사용하여 기존 신경망 표현에서 척도에 특화된 정보를 분리할 수 있는가?
• RQ3 스펙트럼 제약 조건을 사용하여 모델이 특정 척도에서의 구조를 캡처하도록 훈련시킬 수 있는가?
• RQ4 프리즘 레이어가 장거리 맥락이나 다중 척도 이해이 필요한 작업에서 성능 향상에 기여하는가?
• RQ5 스펙트럼 필터링이 마스크된 언어 모델링 작업에서 모델의 장거리 의존성 민감도에 어떤 영향을 미치는가?

주요 결과

• 스펙트럼 필터링은 척도에 특화된 정보를 성공적으로 고립시켰다: 저통과 필터링된 표현은 문서 수준의 주제 분류에서 가장 높은 성능를 보였고, 대역통과 필터링은 발화 수준의 대화 액션 분류에서, 고통과 필터링은 단어 수준의 품사 태깅에서 각각 최고 성능를 보였다.
• BERT + 프리즘 모델은 품사 태깅, 대화 액션 분류, 주제 분류 세 가지 작업 전반에서 표준 BERT와 유사하거나 더 뛰어난 성능를 기록하여 다중 척도 표현 학습의 향상이 확인되었다.
• 프리즘 레이어는 마스크된 언어 모델링 작업에서 더 긴 범위의 맥락 추론이 요구되는 경우에 성능 향상으로써 장거리 맥락에 대한 민감도가 증가했음을 보여주었다.
• 스펙트럼 필터를 사용해 훈련된 필터링된 표현은 목표 작업에서는 뛰어난 성능를 보였지만 다른 작업에서는 성능이 떨어지며 척도 분리가 성공적으로 이루어졌음을 확인했다.
• 이 방법은 NLP를 넘어 일반화 가능하다: 시간 또는 공간 축을 따라 구조화된 표현을 가진 모든 모델, 예를 들어 비전, 오디오, 또는 시계열 분야에도 적용 가능하다.
• 스펙트럼 분석은 깊이 있는 모델이 다양한 척도에서 정보를 어떻게 인코딩하는지 탐색하고 제어하기 위한 원칙적이고 해석 가능한 프레임워크를 제공한다.