[논문 리뷰] PAWS: Paraphrase Adversaries from Word Scrambling

Yuan Zhang, Jason Baldridge외 1명|arXiv (Cornell University)|2019. 04. 01.

Topic Modeling참고 문헌 32인용 수 14

한 줄 요약

이 논문은 말의 순서와 문법적 구조에 대한 모델의 민감도를 시험하기 위해 고의적으로 설계된 108,463개의 고어휘 일치 문장 쌍을 포함한 새로운 병렬문장 식별 데이터셋 PAWS를 소개한다. 제어된 단어 뒤섞기와 역번역을 통해 생성되었으며, 인간 평가자에 의해 검증된 PAWS는 훈련에 포함되었을 때 최신 모델 성능을 크게 향상시켜, 어려운 쌍에서의 정확도를 40% 미만에서 85%로 끌어올렸다. 이는 NLP 모델의 문맥적 및 구조적 이해 능력 향상에 효과적임을 보여준다.

ABSTRACT

Existing paraphrase identification datasets lack sentence pairs that have high lexical overlap without being paraphrases. Models trained on such data fail to distinguish pairs like flights from New York to Florida and flights from Florida to New York. This paper introduces PAWS (Paraphrase Adversaries from Word Scrambling), a new dataset with 108,463 well-formed paraphrase and non-paraphrase pairs with high lexical overlap. Challenging pairs are generated by controlled word swapping and back translation, followed by fluency and paraphrase judgments by human raters. State-of-the-art models trained on existing datasets have dismal performance on PAWS (<40% accuracy); however, including PAWS training data for these models improves their accuracy to 85% while maintaining performance on existing tasks. In contrast, models that do not capture non-local contextual information fail even with PAWS training examples. As such, PAWS provides an effective instrument for driving further progress on models that better exploit structure, context, and pairwise comparisons.

연구 동기 및 목표

• 기존 병렬문장 데이터셋에서 어휘 일치도가 높은 비병렬문장 쌍이 부족하여, 모델이 의미적으로 다를 수 있는 문장을 병렬문장으로 잘못 분류하는 문제를 해결하기 위해.
• 비국소적 문맥적 및 문법적 종속성을 포착하는 능력을 효과적으로 측정할 수 있는 진단 기준을 마련하기 위해.
• 병렬문장과 비병렬문장 레이블을 균형 있게 유지하면서도 높은 어휘 일치도를 유지하는 확장 가능한 인간 주관 데이터셋을 개발하기 위해.
• PAWS를 훈련에 포함했을 때 실제 세계의 병렬문장 식별 작업에서 모델의 강건성을 크게 향상시킬 수 있으며, 동시에 기존 벤치마크 성능을 떨어뜨리지 않는 것을 입증하기 위해.

제안 방법

• Quora와 위키백과의 문장을 대상으로 제어된 단어 뒤섞기를 적용하여 문장 쌍을 생성하고, 문법적 타당성과 의미적 타당성을 유지하기 위해.
• 추가로 병렬문장 및 비병렬문장 변형을 생성하기 위해 역번역을 활용하여 다양한 문법적 구조의 커버리지와 다양성을 높이기 위해.
• 두 단계로 구성된 인간 주관: 첫 번째 단계에서는 유창성과 병렬문장 동치성 평가; 두 번째 단계에서는 규칙 기반 재결합을 통해 양성 및 음성 레이블의 균형을 맞추기 위해.
• Quora Question Pairs (QQP) 코퍼스를 사전 훈련 및 미세조정의 기초로 활용하고, PAWS는 진단 및 보조 훈련 데이터셋으로 사용하기 위해.
• BERT, DIIN, BiLSTM, BOW 등의 다양한 모델을 QQP 및 PAWS에서 훈련하고 평가하여 성능 비교 및 일반화 및 강건성 분석을 수행하기 위해.
• PAWS 테스트 세트에서 AUC 점수를 사용해 모델 성능을 평가하고, 학습 곡선을 분석하여 최적의 성능 향상을 위해 필요한 PAWS 예제 수를 결정하기 위해.

실험 결과

연구 질문

• RQ1 어휘 일치도는 높지만 의미가 대조적인 문장 쌍을 포함한 데이터셋이 최신 병렬문장 모델의 약점을 효과적으로 드러낼 수 있는가?
• RQ2 기존 데이터셋에 비해 PAWS를 훈련에 포함했을 때, 병렬문장 식별 작업에서의 모델 정확도 향상 정도는 어느 정도인가?
• RQ3 모델의 성능이 아키텍처의 복잡성과 비국소적 문맥을 포착하는 능력과 어느 정도 상관관계가 있는가?
• RQ4 Quora와 같은 한 도메인에서 훈련한 모델이 다른 도메인(예: 위키백과)으로 일반화할 수 있는가? 그리고 교차 도메인 데이터가 도메인 내 성능 향상에 기여하는가?
• RQ5 성능 향상에 유의미한 기여를 하기 위해 필요한 최소한의 PAWS 예제 수는 얼마이며, 더 많은 데이터로 성능 향상이 계속되는가?

주요 결과

• QQP에서만 미세조정된 모델은 PAWS에서 정확도가 40% 미만에 그치며, 의미적으로 다를 수 있지만 어휘적으로 유사한 문장 쌍을 구분하지 못하는 심각한 실패를 보여준다.
• QQP와 PAWS 양쪽에서 BERT를 미세조정하면 PAWS에서의 정확도가 85%로 상승하지만, QQP에서의 높은 성능를 유지하므로 PAWS가 훈련 및 진단 자원으로 효과적임을 입증한다.
• 학습 곡선 분석 결과, PAWS에서의 모델 성능은 훈련 예제 수가 증가함에 따라 향상되며, BERT나 DIIN 모델 모두 12,000개의 PAWS 예제로도 수렴에 도달하지 못한다.
• 교차 도메인 훈련(예: Quora + 위키백과 PAWS)은 성능 향상에 중대한 기여를 한다: Quora에서만 훈련한 DIIN 모델은 위키백과 PAWS에서 93.8% AUC를 기록하며, Quora에서만 훈련한 경우보다 12.1%p의 절대적 향상률을 보였다.
• BERT는 정확도에서 DIIN을 능가하지만 계산 비용이 높다. DIIN은 오직 590,000개의 파라미터만을 가지며 경량 환경에서 빠른 응답이 필요한 곳에 더 적합하며, 경쟁적인 성능을 달성한다.
• BOW나 일반적인 DecAtt 모델은 PAWS의 훈련 데이터를 사용해도 성능 향상이 없으며, 이는 PAWS가 어휘 일치도를 넘어서 문법적 구조와 문맥 민감도를 효과적으로 측정함을 확인한다.