[논문 리뷰] Neural Paraphrase Identification of Questions with Noisy Pretraining

Gaurav Singh Tomar, Thyago S.P.C. Duque외 3명|arXiv (Cornell University)|2017. 04. 15.

Topic Modeling참고 문헌 21인용 수 9

한 줄 요약

이 논문은 대량의 자동으로 수집된 대체어 문장 코퍼스를 기반으로 한 노이즈 있는 사전학습과 문자 n-그램 임베딩을 사용하여 질문의 대체어 식별을 위한 단순하면서도 효과적인 신경망 접근법을 제안한다. 단어 임베딩 대신 문자 n-그램 표현을 사용하고, Paralex에서 전체 모델을 사전학습한 후 Quora 데이터셋에서 미세조정함으로써, 더 복잡한 아키텍처를 능가하는 최신 기술 수준의 성능을 달성하며, 과제에 특화된 노이즈 있는 사전학습의 힘을 입증한다.

ABSTRACT

We present a solution to the problem of paraphrase identification of questions. We focus on a recent dataset of question pairs annotated with binary paraphrase labels and show that a variant of the decomposable attention model (Parikh et al., 2016) results in accurate performance on this task, while being far simpler than many competing neural architectures. Furthermore, when the model is pretrained on a noisy dataset of automatically collected question paraphrases, it obtains the best reported performance on the dataset.

연구 동기 및 목표

• 기존 모델보다 더 단순한 신경망 아키텍처를 사용하여 질문의 대체어 식별 성능을 향상시키는 것.
• 이 과제에서 단어 임베딩보다 문자 n-그램 임베딩이 더 우수한 성능을 내는지 조사하는 것.
• 대규모이자 노이즈가 많은 도메인 내 대체어 코퍼스(Paralex)에서의 사전학습이 더 작은 인간 애너테이션 데이터셋(Quora)에서의 성능 향상에 미치는 영향을 평가하는 것.
• 노이즈가 있는 데이터에서 전체 모델을 사전학습하는 것이 임베딩 레이어만 사전학습하는 것보다 더 효과적인지 판단하는 것.

제안 방법

• 모델는 분해 가능 주의 구조(DecAtt)를 사용하며, 단어 임베딩 대신 문자 n-그램 임베딩의 합을 기반으로 한 수정된 입력 표현을 사용한다.
• 각 입력 시퀀스에 대해 크기가 c인 컨텍스트 윈도우를 적용하여 국소적 어휘 표현을 형성한다.
• 모델는 세 단계를 수행한다: 주의(어휘 쌍 간의 주의 점수를 계산하기 위해 피드포워드 네트워크를 사용), 비교(유사도 벡터 계산), 집계(이진 대체어 레이블 예측을 위해 다른 피드포워드 네트워크 사용).
• 모델는 Quora 데이터셋에서 미세조정하기 전에 Paralex 코퍼스—대규모로 자동으로 수집된 대체어 코퍼스—에서 사전학습된다.
• 짧은 단어의 경우, 모델은 전체 단어 자체를 입력으로 사용하며, 각 단어에 경계 마커를 추가한다.
• 최종 모델에 자기주의(self-attention)를 적용하여 성능 향상을 이뤘으며, 특히 장거리 의존성을 포착하는 데 유리하다.

실험 결과

연구 질문

• RQ1 단어 임베딩을 문자 n-그램 임베딩으로 대체하면 질문의 대체어 식별 성능이 향상되는가?
• RQ2 대규모이며 노이즈가 많은 도메인 내 대체어 코퍼스(Paralex)에서 전체 모델을 사전학습하면 더 작은 인간 애너테이션 데이터셋(Quora)에서의 성능 향상에 기여하는가?
• RQ3 전체 모델 사전학습이 임베딩 레이어만 사전학습하는 것보다 더 효과적인가?
• RQ4 Quora 학습 데이터의 양이 증가함에 따라 성능이 어떻게 변화하는가? 특히 노이즈 있는 사전학습과 조합했을 때의 성능 변화는 어떻게 되는가?

주요 결과

• 사전학습 없이도 문자 n-그램 기반 모델(DecAtt char)이 GloVe 임베딩을 사용한 단어 기반 모델보다 뛰어난 성능을 보이며, 문자 수준 표현의 우수성을 입증한다.
• Paralex에서 문자 n-그램 임베딩만 사전학습한 모델(DecAtt paralex-char)은 사전학습이 없는 기준 모델보다 성능 향상이 뚜렷하다.
• 가장 뛰어난 성능을 보인 모델인 pt-DecAtt char(Paralex에서 모든 모델 파라미터를 사전학습)는 Quora 데이터셋에서 최신 기술 수준의 성능을 달성하며, BiMPM과 같은 더 복잡한 아키텍처를 능가한다.
• 노이즈 있는 사전학습은 학습 데이터가 제한적일수록 더 큰 성과를 올리며, 그림 1의 로그 스케일 비교에서 이를 확인할 수 있다. 이는 비용이 많이 드는 인간 애너테이션과 저비용의 노이즈 있는 사전학습 사이의 상충 관계를 보여준다.
• 사전학습된 모델는 자기주의를 효과적으로 활용하여, 사전학습되지 않은 모델가 장거리 의존성을 더 잘 포착한다. 사전학습되지 않은 모델는 종종 자기주의를 완전히 생략한다.
• 예시를 통해 최고의 모델이 어순 변화나 철자 변형을 포함한 미묘한 대체어를 잘 포착하는 것으로 나타났지만, 매우 복잡한 대체어에는 여전히 어려움을 겪는다.