[논문 리뷰] Enhancing Recurrent Neural Networks with Sememes.

Yujia Qin, Fanchao Qi외 6명|arXiv (Cornell University)|2019. 10. 20.

Topic Modeling참고 문헌 47인용 수 5

한 줄 요약

이 논문은 다양한 자연어 처리(NLP) 작업에서 순차 모델링 능력을 향상시키기 위해 반복 신경망(RNNs)에 최소 의미 단위인 세미엠(smemes)을 통합하는 것을 제안한다. LSTM, GRU 및 그 이중성 변형에 대해 세 가지 다른 세미엠 통합 방법을 설계함으로써, 저자들은 언어 모델링과 자연어 추론 작업에서 일관된 성능 향상을 달성하였으며, 적대적 공격에 대한 내성도가 적대적 훈련보다 뛰어나다.

ABSTRACT

Sememes, the minimum semantic units of human languages, have been successfully utilized in various natural language processing applications. However, most existing studies exploit sememes in specific tasks and few efforts are made to utilize sememes more fundamentally. In this paper, we propose to incorporate sememes into recurrent neural networks (RNNs) to improve their sequence modeling ability, which is beneficial to all kinds of downstream tasks. We design three different sememe incorporation methods and employ them in typical RNNs including LSTM, GRU and their bidirectional variants. For evaluation, we use several benchmark datasets involving PTB and WikiText-2 for language modeling, SNLI for natural language inference. Experimental results show evident and consistent improvement of our sememe-incorporated models compared with vanilla RNNs, which proves the effectiveness of our sememe incorporation methods. Moreover, we find the sememe-incorporated models have great robustness and outperform adversarial training in defending adversarial attack. All the code and data of this work will be made available to the public.

연구 동기 및 목표

• 세미엠을 RNN 아키텍처에 근본적으로 통합하여 의미 이해력과 순차 모델링 능력을 향상시키는 것.
• 세미엠 통합이 작업 특화 응용을 넘어 광범위한 후행 NLP 작업에 어떻게 기여할 수 있는지 탐색하는 것.
• 세미엠 강화 RNN의 적대적 공격에 대한 내성도를 평가하고, 적대적 훈련과 비교하는 것.
• 표준 RNN, 특히 이중성 변형에 적용 가능한 일반화 가능한 세미엠 통합 메커니즘을 개발하는 것.

제안 방법

• LSTM 및 GRU를 포함한 RNN의 다양한 아키텍처 계층에서 은닉 상태에 세미엠 표현을 통합하기 위한 세 가지 별도의 방법을 설계한다.
• 세미엠 표현은 주로 어텐션 유사 메커니즘 또는 은닉 상태와의 직접 연결을 통해 의미 정보 흐름을 풍부하게 한다.
• 언어 모델링을 위한 표준 벤치마크인 PTB와 WikiText-2, 자연어 추론을 위한 SNLI를 대상으로 엔드 투 엔드로 모델을 훈련시킨다.
• 이중성 LSTM 및 GRU의 변형은 더 풍부한 문맥적 의미를 포착하기 위해 세미엠 통합을 확장한다.
• 세미엠 임베딩을 사전 훈련하여 다양한 작업 간의 의미 일관성과 이식 가능성을 확보한다.
• 적대적 예제를 사용하여 내성도를 평가하며, 적대적 훈련으로 훈련된 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 세미엠 통합은 다양한 NLP 작업에서 표준 RNN의 성능을 일관되게 향상시킬 수 있는가?
• RQ2 세미엠 강화 RNN은 적대적 훈련에 비해 적대적 공격에 대한 방어에서 어떻게 비교되는가?
• RQ3 아키텍처의 대대적 개편 없이 세미엠 표현을 RNN 아키텍처에 효과적으로 통합하는 가장 좋은 방법은 무엇인가?
• RQ4 세미엠 통합은 정확도 향상 외에도 RNN의 일반화 능력과 내성도를 향상시키는가?

주요 결과

• 세미엠 통합 RNN은 PTB 및 WikiText-2 데이터셋을 사용한 언어 모델링 작업에서 기존 RNN보다 일관되고 뚜렷한 성능 향상을 달성한다.
• 적대적 훈련보다 적대적 공격에 대한 방어에서 뛰어난 내성도를 보이며, 우수한 내성도를 입증한다.
• 제안된 세미엠 통합 방법은 이중성 LSTM 및 GRU를 포함한 다양한 RNN 변형에서 효과적으로 작용한다.
• 다양한 작업에서 성능 향상이 뚜렷하게 나타나, 세미엠 강화 접근법의 일반화 가능성을 시사한다.
• 세미엠 통합은 더 의미 기반의 은닉 표현을 이끌어내어 순차 모델링에서 문맥 이해력을 향상시킨다.