[논문 리뷰] Collecting Entailment Data for Pretraining: New Protocols and Negative Results.

Samuel R. Bowman, Jennimaria Palomaki외 2명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling참고 문헌 28인용 수 11

한 줄 요약

이 논문은 자연어 이해를 위한 미리 훈련을 향상시키기 위해 텍스트 유추(NLI) 데이터를 수집하기 위한 네 가지 새로운 프로토콜을 제안한다. 비록 애너테이션의 용이성 향상과 악성 패턴 감소(특히 시드 문장 활용 시)를 이룬 바 있지만, 이 새로운 방법들 중 어느 것도 표준 MNLI 베이스라인에 비해 전이 성능에서 승리하지 못했으며, 이는 향상된 미리 훈련 데이터 품질에 대한 부정적인 결과를 낳는다.

ABSTRACT

Textual entailment (or NLI) data has proven useful as pretraining data for tasks requiring language understanding, even when building on an already-pretrained model like RoBERTa. The standard protocol for collecting NLI was not designed for the creation of pretraining data, and it is likely far from ideal for this purpose. With this application in mind, we propose four alternative protocols, each aimed at improving either the ease with which annotators can produce sound training examples or the quality and diversity of those examples. Using these alternatives and a simple MNLI-based baseline, we collect and compare five new 8.5k-example training sets. Our primary results are solidly negative, with our baseline MNLI-style dataset yielding good transfer performance, but none of our four new methods (nor the recent ANLI) showing any improvements on that baseline. However, we do observe that all four of these interventions, especially the use of seed sentences for inspiration, reduce previously observed issues with annotation artifacts.

연구 동기 및 목표

• 미리 훈련된 언어 모델을 위한 특화된 텍스트 유추(NLI) 데이터 수집 프로토콜을 설계하기.
• 일반적으로 NLI 데이터 수집에 악영향을 미치는 애너테이션 오류를 줄이기, 특히 고자원 환경에서의 문제를 중심으로.
• 기존의 표준 MNLI 스타일 프로토콜에 비해 대체 데이터 수집 방법이 더 나은 일반화 성능을 낼 수 있는지 평가하기.
• 시드 문장과 구조화된 프롬프팅이 애너테이션 품질과 다양성에 미치는 영향 평가하기.
• 최근의 벤치마크인 ANLI 가 미리 훈련에 있어 표준 MNLI 보다 우월한 점이 있는지 판단하기.

제안 방법

• 네 가지의 대체 NLI 데이터 수집 프로토콜을 설계하였으며, 각각 애너테이션의 명확성, 다양성 또는 사용 용이성 향상을 목표로 하였다.
• 각 프로토콜은 다른 전략을 사용하였으며, (1) 직접 문장 쌍, (2) 템플릿이 적용된 문장 쌍, (3) 영감을 주기 위한 시드 문장, (4) 제약 조건이 있는 구조화된 프롬프팅이다.
• 모든 프로토콜을 활용해 다섯 개의 새로운 8.5k 예제 NLI 데이터셋을 수집하였으며, 각각 RoBERTa 기반의 MNLI 스타일 베이스라인으로 훈련 및 평가하였다.
• 다음 NLU 작업들인 RTE, SNLI, 텍스트 유사성 벤치마크에서의 제로샷 전이 성능을 통해 데이터셋을 비교하였다.
• 특히 모델의 단순화된 학습을 유도하는 패턴을 암시하는 바를 중심으로, 프로토콜 간 애너테이션 오류를 측정하고 비교하였다.
• 최근의 ANLI 벤치마크와의 비교를 통해, 새로운 프로토콜 대비 그 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 표준 MNLI 프로토콜에 비해 대체 NLI 데이터 수집 프로토콜이 하류 작업의 전이 성능 향상에 기여할 수 있는가?
• RQ2 새로운 프로토콜이 모델의 일반화 성능을 해치는 애너테이션 오류를 어느 정도 줄일 수 있는가?
• RQ3 영감을 주기 위한 시드 문장을 사용할 경우 더 높은 품질이나 더 다양한 유추 예제가 생성되는가?
• RQ4 구조화된 프롬프팅과 템플릿 기반 방법이 애너테이션 일관성과 품질 향상에 기여하는가?
• RQ5 미리 훈련에 사용될 경우, ANLI 벤치마크가 표준 MNLI 스타일 데이터에 비해 우월한 성능을 보이는가?

주요 결과

• 모든 평가된 데이터셋 중에서 표준 MNLI 스타일 데이터셋이 가장 뛰어난 전이 성능를 기록하였다. 이는 새로운 프로토콜의 데이터셋과 ANLI 모두 포함된다.
• 모든 네 가지 신규 프로토콜이 이전에 관찰된 애너테이션 오류를 감소시켰으며, 특히 시드 문장 방법이 유사 패턴 감소에 가장 뚜렷한 개선을 보였다.
• 애너테이션 품질 향상과 오류 감소에도 불구하고, 새로운 프로토콜 중 어느 것도 하류 전이 성능 향상에 유의미한 기여를 하지 못했다.
• 시드 문장을 활용함으로써 애너테이터의 일관성이 뚜렷이 향상되었고, 표면적인 단서에 대한 의존도가 감소하여 의미적 추론과 더 잘 일치하는 결과를 이끌어냈다.
• ANLI 벤치마크는 디자인이 더 어려운 예제를 제공하고 있음에도 불구하고, 이 미리 훈련 환경에서는 표준 MNLI 베이스라인을 능가하지 못했다.
• 결과적으로 현재의 NLI 데이터 수집 프로토콜은 이미 미리 훈련에 대해 최적에 가까운 상태이며, 향후 개선 노력의 수익 감소 현상이 나타나고 있음을 시사한다.