[논문 리뷰] Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options

Clara Vania, Ruijie Chen외 1명|arXiv (Cornell University)|2020. 10. 13.

Topic Modeling참고 문헌 43인용 수 8

한 줄 요약

이 논문은 자연어 추론(NLI) 가설 쌍을 생성하기 위해 자동화된 방법 두 가지—문장 유사도 및 기계 번역—을 평가한다. 이는 인류 작업자에 의해 작성된 가설을 대체하기 위한 것이다. 비용 절감과 데이터 양 증가에도 불구하고, 표준 MNLI 스타일의 글쓰기 기반 프로토콜에 비해 두 방법 모두 NLI 및 전이 학습 성능에서 열등한 성능을 보이며, 고급 품질의 NLI 데이터 수집을 위한 인간이 작성한 가설이 여전히 가장 우수한 선택임을 결론 내린다.

ABSTRACT

Large-scale natural language inference (NLI) datasets such as SNLI or MNLI have been created by asking crowdworkers to read a premise and write three new hypotheses, one for each possible semantic relationships (entailment, contradiction, and neutral). While this protocol has been used to create useful benchmark data, it remains unclear whether the writing-based annotation protocol is optimal for any purpose, since it has not been evaluated directly. Furthermore, there is ample evidence that crowdworker writing can introduce artifacts in the data. We investigate two alternative protocols which automatically create candidate (premise, hypothesis) pairs for annotators to label. Using these protocols and a writing-based baseline, we collect several new English NLI datasets of over 3k examples each, each using a fixed amount of annotator time, but a varying number of examples to fit that time budget. Our experiments on NLI and transfer learning show negative results: None of the alternative protocols outperforms the baseline in evaluations of generalization within NLI or on transfer to outside target tasks. We conclude that crowdworker writing still the best known option for entailment data, highlighting the need for further data collection work to focus on improving writing-based annotation processes.

연구 동기 및 목표

• 자동화된 방법을 사용해 NLI 가설 쌍을 생성하는 것이 인류 작업자에 의해 작성된 가설에 비해 데이터 품질 측면에서 뛰어나지 못하는지 조사하기.
• 고정된(annotation) 예산 하에서 글쓰기 없는 데이터 수집 프로토콜의 비용 효율성과 일반화 성능 평가하기.
• 자동화된 생성이 NLI 데이터셋에서 애너테이션 아티팩트를 줄이거나 새로운 편향을 유도하는지 확인하기.
• 자동으로 생성된 NLI 데이터가 하류 전이 학습 작업에 미치는 영향 평가하기.
• 데이터 수집 향상 방향이 인간 기반 생성을 정교화하는 데 중점을 두어야 할지, 아니면 대체 자동화 파이프라인을 추구해야 할지 규명하기.

제안 방법

• 두 가지 대안적 프로토콜 제안: (1) FAISS와 RoBERTa 임베딩을 사용한 문장 유사도 기반 쌍 생성, (2) 다국어 mBART와 OPUS 평행 코퍼스를 사용한 번역 기반 생성.
• 베이스라인과 동일한 전제 소스를 사용해 다섯 개의 새로운 NLI 데이터셋을 수집—기사용으로서의 Gigaword에서 두 개, 위키백과용으로서의 위키에서 두 개, 그리고 WikiMatrix에서 한 개.
• 애너테이터가 가설을 작성하지 않고, 사전에 생성된 (전제, 가설) 쌍에 대해 함의, 모순, 중립 관계를 레이블링.
• 고정된 애너테이션 예산(~15달러/시간)을 사용해 데이터 효율성 비교를 하였으며, 글쓰기 기반 베이스라인 대비 각 프로토콜에서 약 두 배의 예제를 수집.
• 표준 벤치마크인 MNLI와 GLUE를 사용해 각 데이터셋에서 NLI 모델을 훈련하고 평가하여 일반화 및 전이 학습 성능 분석.
• 최종 데이터 수집 전에 다수의 라운드에 걸쳐 메서드를 시범 적용하고 최적화하여 쌍의 품질 향상.

실험 결과

연구 질문

• RQ1 인류 작업자에 의해 작성된 가설을 자동으로 생성된 쌍으로 대체하면 NLI 모델의 일반화 성능이 향상되는가?
• RQ2 자동화된 데이터 수집 프로토콜이 MNLI 스타일의 글쓰기 기반 베이스라인보다 더 나은 일반화 성능을 보이는 NLI 데이터셋을 생성할 수 있는가?
• RQ3 자동으로 생성된 NLI 쌍은 인간이 작성한 가설에 비해 애너테이션 아티팩트를 줄이거나 새로운 아티팩트를 유도하는가?
• RQ4 자동화된 프로토콜에서 유도된 증가된 데이터 양이 하류 전이 학습 작업에서 잠재적인 품질 저하를 상쇄할 수 있는가?
• RQ5 완전히 자동화된 파이프라인은 데이터 품질과 모델 성능 측면에서 인간 기반 생성을 능가할 수 있는가?

주요 결과

• 글쓰기 기반의 MNLI 프로토콜은 표준 벤치마크에서 두 자동화 프로토콜 모두를 일관되게 뛰어넘었으며, 뚜렷한 성능 격차를 보였다.
• 자동으로 생성된 데이터로 훈련된 모델은 인간이 작성한 데이터로 훈련된 모델에 비해 GLUE 및 기타 하류 작업에서 전이 학습 성능이 열 劣했다.
• 문장 유사도 기반 프로토콜(Sim)과 번역 기반 프로토콜(Translate) 모두, 기준 대비 낮은 모델 정확도와 일반화 능력을 보였다.
• 예상보다 약 두 배 많은 예제를 수집했음에도 불구하고, 자동화된 방법은 모델 성능 향상에 기여하지 못했다.
• 자동화된 방법이 애너테이션 아티팩트를 줄였다는 증거는 없었으며, 오히려 이러한 데이터로 훈련된 모델이 허구적 패턴을 더 잘 학습하는 경향이 있었다.
• 본 연구는 인류 작업자에 의해 작성된 가설이 여전히 NLI 데이터 수집을 위한 가장 우수한 선택임을 결론 내리며, 애너테이션 아티팩트 등의 문제점이 존재하더라도 그러한 문제점을 감안할지라도 여전히 최선의 방법임을 강조한다.