[논문 리뷰] Improved Sentence Modeling using Suffix Bidirectional LSTM

Siddhartha Brahma|arXiv (Cornell University)|2018. 05. 18.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 각 토큰의 접두사와 접미사를 양방향으로 동시에 인코딩함으로써 장거리 의존성 모델링을 향상시키는 새로운 RNN 아키텍처인 Suffix Bidirectional LSTM(SuBiLSTM)을 제안한다. 최대 풀링을 통해 이러한 표현을 결합함으로써 SuBiLSTM는 문장 모델링 작업, 예를 들어 세분화된 감성 분류와 질문 분류에서 표준 BiLSTM보다 성능이 뛰어나며, 하류 모델의 아키텍처를 변경하지 않고도 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Recurrent neural networks have become ubiquitous in computing representations of sequential data, especially textual data in natural language processing. In particular, Bidirectional LSTMs are at the heart of several neural models achieving state-of-the-art performance in a wide variety of tasks in NLP. However, BiLSTMs are known to suffer from sequential bias - the contextual representation of a token is heavily influenced by tokens close to it in a sentence. We propose a general and effective improvement to the BiLSTM model which encodes each suffix and prefix of a sequence of tokens in both forward and reverse directions. We call our model Suffix Bidirectional LSTM or SuBiLSTM. This introduces an alternate bias that favors long range dependencies. We apply SuBiLSTMs to several tasks that require sentence modeling. We demonstrate that using SuBiLSTM instead of a BiLSTM in existing models leads to improvements in performance in learning general sentence representations, text classification, textual entailment and paraphrase detection. Using SuBiLSTM we achieve new state-of-the-art results for fine-grained sentiment classification and question classification.

연구 동기 및 목표

• BiLSTM에서 발생하는 순차적 편향 문제를 해결하기 위해, 문맥 표현이 근처 토큰에 지나치게 영향을 받는 것을 방지한다.
• 특히 자연어 처리 분야에서 순차적 데이터의 장거리 의존성 모델링을 향상시키기 위해 노력한다.
• 기존 모델 아키텍처를 수정하지 않고도 BiLSTM의 일반적인 교체 수단이 되는 문장 수준의 표현을 향상시키는 보편적인 플러그인 대체 기법을 개발한다.
• 텍스트 분류 및 텍스트 함의 추론과 같은 다양한 NLP 작업에서 SuBiLSTM의 효과성을 입증한다.

제안 방법

• 각 시퀀스 내 토큰에 대해, 별도의 LSTMs를 사용하여 전방 접두사, 전방 접미사, 역방향 접두사, 역방향 접미사의 네 가지 문맥 표현을 계산한다.
• 전방 접미사 인코딩(토큰 i부터 끝까지)은 현재 위치에서 멀리 떨어진 토큰을 처리하므로 장거리 의존성에 대한 편향을 유도한다.
• 역방향 접두사 인코딩(역순으로 토큰 i부터 시작까지) 역시 먼 왼쪽 문맥을 강조한다.
• 각 토큰의 최종 문맥 표현은 전방 및 역방향의 접두사와 접미사 표현을 최대 풀링하여 형성된다.
• 두 가지 변형이 도입된다: 별도의 LSTMs를 사용하는 untied(비결합) 버전과 각 방향에서 접두사와 접미사를 공유하는 tied(결합) 버전으로, 파라미터를 줄이고 일반화 성능을 향상시킨다.
• 기존 BiLSTM 기반 아키텍처에 즉각적으로 통합할 수 있도록, 나머지 모델의 변경 없이도 사용 가능하다.

실험 결과

연구 질문

• RQ1 양방향으로 접두사와 접미사를 명시적으로 인코딩함으로써 RNN에서 장거리 의존성 모델링이 향상될 수 있는가?
• RQ2 제안된 SuBiLSTM 아키텍처가 문장 수준 작업에서 문맥 정보를 포괄적으로 포착하는 데 표준 BiLSTM보다 뛰어난가?
• RQ3 SuBiLSTM의 결합 버전과 비결합 버전 간 성능 및 파라미터 효율성 측면에서의 비교는 어떠한가?
• RQ4 SuBiLSTM는 텍스트 분류 및 동의어 탐지와 같은 문장 모델링 작업에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• QUORA 동의어 탐지 데이터셋에서 SuBiLSTM는 88.2%의 새로운 최신 기술 정확도를 기록했으며, 더 복잡한 어텐션 기반 모델(BiMPM)과 동일한 성능을 달성했다.
• TREC 질문 분류 데이터셋에서 SuBiLSTM는 95.8%의 정확도를 기록하여 이전 최신 기술 성능을 초월했다.
• SST-2 데이터셋에서의 세분화된 감성 분류 작업에서 SuBiLSTM는 92.1%의 정확도를 기록하며 새로운 최신 기술 성능을 수립했다.
• 작은 데이터셋(SST 및 TREC)에서는 결합 버전의 SuBiLSTM가 더 뛰어난 성능을 보였는데, 공유 파라미터로 인한 정규화 효과 때문으로 보인다.
• 더 큰 데이터셋(SNLI 및 QUORA)에서는 비결합 버전이 약간 더 뛰어난 성능을 보였으며, 더 높은 표현 능력 덕분이었다.
• 일반 문장 표현, 텍스트 분류, 텍스트 함의 추론, 동의어 탐지 등 다양한 작업에서 성능 향상이 일관되게 관찰되었다.