[논문 리뷰] The Importance of Being Recurrent for Modeling Hierarchical Structure

Ke Tran, Arianna Bisazza외 1명|arXiv (Cornell University)|2018. 03. 09.

Topic Modeling참고 문헌 18인용 수 12

한 줄 요약

이 논문은 순환 신경망(LSTM)이 계층적 언어적 구조를 모델링하는 데 비순환 트랜스포머(FAN)보다 성능이 뛰어나지 않는지 조사한다. 주어-동사 일치 및 논리적 추론 작업을 통해 저자들은 LSTMs가 더 긴 시퀀스로 일반화하는 데 더 우수하고, 오염된 특징에 더 강건함을 보여주며, 순환성은 비록 비순환 모델이 더 계산 효율성이 높더라도 계층적 의존성을 포착하는 데 핵심적임을 입증한다.

ABSTRACT

Recent work has shown that recurrent neural networks (RNNs) can implicitly capture and exploit hierarchical information when trained to solve common natural language processing tasks such as language modeling (Linzen et al., 2016) and neural machine translation (Shi et al., 2016). In contrast, the ability to model structured data with non-recurrent neural networks has received little attention despite their success in many NLP tasks (Gehring et al., 2017; Vaswani et al., 2017). In this work, we compare the two architectures---recurrent versus non-recurrent---with respect to their ability to model hierarchical structure and find that recurrency is indeed important for this purpose.

연구 동기 및 목표

• 순환 아키텍처인 LSTM과 비순환 트랜스포머(FAN)가 순차적 데이터에서 은닉된 계층적 구조를 더 잘 모델링하는지 평가하는 것.
• 중첩된 문법적 또는 논리적 의존성이 요구되는 작업에서 LSTMs와 FAN의 일반화 능력을 평가하는 것.
• 비순환 모델의 계산 효율성이 계층적 구조 이해 능력의 손실을 수반하는지 여부를 규명하는 것.
• 명시적 지도 학습 또는 언어 모델링 사전학습이 두 아키텍처에서 계층적 구조 포착에 어떻게 기여하는지 조사하는 것.

제안 방법

• 연구는 주어-동사 일치 및 논리적 추론이라는 두 가지 통제된 NLP 작업에서 LSTMs와 FANs(비순환 트랜스포머 변종)를 비교한다.
• 주어-동사 일치 작업에서는 모델이 다음 단어 예측 또는 명시적 수량 예측을 학습하며, 성능은 다양한 문법적 거리에서의 정확도로 측정된다.
• 논리적 추론 작업에서는 모델이 전제-가설 쌍을 LSTM 또는 FAN 인코더로 인코딩한 후, 7가지 관계 예측을 위한 피드포워드 분류기를 적용한다.
• FAN은 다중 헤드 자기주의를 통해 가변 길이의 문장 표현을 고정 크기의 벡터로 풀기 위해 학습 가능한 쿼리 벡터를 사용한다.
• 초기화는 그리드 서치를 통해 이루어지고, 최적화는 Adam을 사용하며, 단어 임베딩과 출력 임베딩은 공유된다.
• 실험은 전체 데이터셋과 제한된 논리 연산자 수를 가진 부분집합을 대상으로 수행되어 더 긴 시퀀스로의 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 계층적 언어적 구조를 모델링할 때, 순환성은 비순환 어텐션 메커니즘보다 뚜렷한 이점을 제공하는가?
• RQ2 중첩된 문법적 또는 논리적 의존성이 요구되는 작업에서 LSTMs와 FANs는 더 긴 시퀀스로 일반화할 때 어떻게 비교되는가?
• RQ3 두 아키텍처에서 계층적 구조 포착에 있어 명시적 지도 학습이 언어 모델링 사전학습보다 더 효과적인가?
• RQ4 주어-동사 일치 작업에서 오염된 문법적 특징에 대해 LSTMs와 FANs는 얼마나 강건한가?

주요 결과

• 언어 모델링 또는 명시적 지도 학습을 통해 훈련된 경우, LSTMs는 특히 더 긴 문법적 거리에서 FAN보다 성능이 뛰어나다.
• 논리적 추론 작업에서, 짧은 시퀀스(≤6개의 논리 연산자)로 훈련된 경우 LSTMs가 FAN보다 유의미하게 더 잘 일반화되며, 더 긴 테스트 시퀀스(6 < n ≤ 12)에서 더 높은 정확도를 달성한다.
• FAN은 전체 데이터셋으로 훈련된 경우 LSTMs와 유사한 성능을 보이지만, 더 긴 시퀀스로 일반화할 때 성능이 급격히 떨어진다.
• LSTMs는 주어-동사 일치 작업에서 오염된 특징에 더 강건하며, 다양한 거리와 유인자 수에 걸쳐 높은 정확도를 유지한다.
• 결과는 비록 비순환 모델이 더 계산 효율성이 높더라도 순환성이 계층적 구조 포착에 핵심적임을 시사한다.