[논문 리뷰] REGMAPR - A Recipe for Textual Matching

Siddhartha Brahma|arXiv (Cornell University)|2018. 08. 13.

Topic Modeling인용 수 2

한 줄 요약

REGMAPR는 문장 쌍 간의 정확한 매칭 및 어휘적 유사성 매칭 특징을 추가하여 시아미즈 네트워크를 개선한 단순한 비어 attention 기반 신경망 아키텍처이다. 이는 상호 문장 간 attention을 사용하지 않아도 SICK(유사어 감지) 및 SNLI(텍스트 함의)에서 최신 기술 수준(SOTA) 성능을 달성하며, 복잡한 모델들과 광범위한 수작업 특징을 활용한 모델들을 능가한다.

ABSTRACT

Text matching is a fundamental problem in natural language processing. Neural models using bidirectional LSTMs for sentence encoding and inter-sentence attention mechanisms perform remarkably well on several benchmark datasets. We propose REGMAPR - a simple and general architecture for text matching that does not use inter-sentence attention. Starting from a Siamese architecture, we augment the embeddings of the words with two features based on exact and para- phrase match between words in the two sentences. We train the model using three types of regularization on datasets for textual entailment, paraphrase detection and semantic related- ness. REGMAPR performs comparably or better than more complex neural models or models using a large number of handcrafted features. REGMAPR achieves state-of-the-art results for paraphrase detection on the SICK dataset and for textual entailment on the SNLI dataset among models that do not use inter-sentence attention.

연구 동기 및 목표

• 복잡한 attention 메커니즘을 피하는 경량이면서 효과적인 텍스트 매칭 모델을 개발하는 것.
• 단어 수준의 정확한 매칭 및 유사어 매칭 기반의 간단하고 해석 가능한 특징을 활용해 텍스트 매칭 성능을 향상시키는 것.
• 대규모 수작업 특징이나 attention 모듈에 의존하지 않고도 경쟁 가능한 성능을 달성하는 것.
• 표준 벤치마크에서 효율적이고 정확한 강력한 기준 모델을 확립하는 것.

제안 방법

• 두 입력 문장을 대칭적으로 처리하기 위해 시아미즈 신경망 아키텍처를 채택한다.
• 해당 문장의 대응 단어 간 정확한 단어 매칭 및 유사어 매칭이라는 두 가지 추가 특징을 단어 임베딩에 통합한다.
• 텍스트 함의, 유사어 감지, 의미 유사도 작업에서 일반화 성능을 향상시키기 위해 세 가지 유형의 정규화를 훈련 중 적용한다.
• 상호 문장 간 attention 없이 양방향 LSTMs를 사용해 문장 표현을 인코딩한다.
• 각 작업에 대한 표준 손실 함수를 사용해 여러 벤치마크 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.
• 최종 분류 전에 문장 수준의 매칭 특징과 문맥 임베딩을 단순히 연결한다.

실험 결과

연구 질문

• RQ1 상호 문장 간 attention을 사용하지 않아도 텍스트 매칭 모델이 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 정확한 매칭 및 유사어 매칭 특징은 텍스트 매칭 성능 향상에 얼마나 효과적인가?
• RQ3 정규화 및 시아미즈 아키텍처는 복잡한 attention 메커니즘을 대체할 수 있는가?
• RQ4 적은 수의 수작업 특징을 가진 최소한의 아키텍처가 표준 벤치마크에서 더 복잡한 모델들을 능가할 수 있는가?

주요 결과

• REGMAPR는 상호 문장 간 attention을 사용하지 않는 모델 중에서 SICK 데이터셋에서 유사어 감지 작업에서 최신 기술 수준 성능을 달성한다.
• SNLI 데이터셋에서 텍스트 함의 작업에서도 상호 문장 간 attention을 사용하지 않아도 최신 기술 수준 성능을 기록한다.
• 더 복잡한 신경망 모델들과 광범위한 수작업 특징에 의존하는 모델들보다 비교적 또는 더 우수한 성능을 보인다.
• 정확한 매칭 및 유사어 매칭 특징의 포함이 기본 시아미즈 네트워크보다 성능 향상에 뚜렷한 기여를 한다.
• 정규화 기법이 과적합을 효과적으로 방지하고 다양한 텍스트 매칭 작업 간 일반화 성능을 향상시킨다.
• 이 아키텍처는 뛰어난 효율성과 효과성을 입증하며, 텍스트 매칭에서 높은 성능을 내기 위해 attention 메커니즘이 반드시 필요한 것은 아님을 증명한다.