[논문 리뷰] Counterfactually-Augmented SNLI Training Data Does Not Yield Better Generalization Than Unaugmented Data

William C. Huang, Haokun Liu외 1명|arXiv (Cornell University)|2020. 10. 09.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 연구는 대조적 증강된 SNLI 훈련 데이터가 무증강 데이터에 비해 모델의 일반화 능력과 강건성 향상에 기여하는지 평가한다. RoBERTa를 증강된(CNLI), 무증강된 SNLI, 그리고 시드 전용 CNLI 서브셋에 맞추어 훈련한 결과, 유사한 크기의 무증강 데이터에 비해 일반화 성능 향상이 없었고, 일부 경우에서는 증강이 강건성에 악영향을 미쳤다—특히 부정 기반 도전 예제에서 그렇다. 이는 현재의 군중 창출 대조적 증강 방식이 강건한 NLU 모델 훈련에 효과적이지 않다는 것을 시사한다.

ABSTRACT

A growing body of work shows that models exploit annotation artifacts to achieve state-of-the-art performance on standard crowdsourced benchmarks---datasets collected from crowdworkers to create an evaluation task---while still failing on out-of-domain examples for the same task. Recent work has explored the use of counterfactually-augmented data---data built by minimally editing a set of seed examples to yield counterfactual labels---to augment training data associated with these benchmarks and build more robust classifiers that generalize better. However, Khashabi et al. (2020) find that this type of augmentation yields little benefit on reading comprehension tasks when controlling for dataset size and cost of collection. We build upon this work by using English natural language inference data to test model generalization and robustness and find that models trained on a counterfactually-augmented SNLI dataset do not generalize better than unaugmented datasets of similar size and that counterfactual augmentation can hurt performance, yielding models that are less robust to challenge examples. Counterfactual augmentation of natural language understanding data through standard crowdsourcing techniques does not appear to be an effective way of collecting training data and further innovation is required to make this general line of work viable.

연구 동기 및 목표

• 대조적 증강된 SNLI 데이터가 무증강 데이터에 비해 모델의 일반화 능력과 강건성 향상에 기여하는지 조사하기 위해.
• 데이터셋 크기와 annotation 비용을 통제할 때, 대조적 증강의 이점이 유지되는지 평가하기 위해.
• NLI 모델의 성능 향상에 기여하는 요소로 어휘 다양성 또는 데이터 증강 중 어느 것이 더 중요한지 검토하기 위해.
• 대조적 예제가 모델 강건성에 미치는 영향을 진단용 도전 세트를 통해 평가하기 위해, 특히 부정 및 어휘 중첩 히وري스틱에 초점 맞추기.
• 현재 대조적 데이터 수집을 위한 군중 창출 프로토콜이 강건한 NLU 모델을 위한 실용적인 훈련 데이터를 제공하는지 판단하기 위해.

제안 방법

• 세 가지 훈련 세트에 대해 RoBERTa를 미세조정: (1) 전체 대조적 증강된 CNLI(8.3k 예제), (2) 무증강된 SNLI의 8.3k 서브샘플, (3) 원본 1.7k CNLI 시드 예제.
• 모델을 MNLI(도메인 외 NLI 벤치마크)와 두 가지 진단 세트(Naik 등, 2018; Wang 등, 2019a)에서 평가.
• 표준 NLI 메트릭(함의, 모순, 중립 정확도)을 사용해 성능 측정하고, n-gram 카운트(n=1에서 4까지)를 통해 어휘 다양성 분석.
• 가설에 "and false is not true"를 추가하여 부정 히وري스틱에 민감도를 테스트하기 위해 부정 도전 예제에서 모델 행동 비교.
• 증강 효과를 데이터셋 크기와 분리하기 위해 통제된 비교를 실시하여 증강의 가치를 공정하게 평가.
• 시드 예제에 비해 성능 향상이 어휘 다양성 증가 때문인지, 대조적 예제 포함 때문인지 분석.

실험 결과

연구 질문

• RQ1 대조적 증강된 SNLI 데이터로 훈련한 모델이 유사 크기의 무증강된 SNLI 데이터로 훈련한 모델보다 도메인 외 일반화 능력에서 뛰어나게 되는가?
• RQ2 대조적 증강 예제의 포함 여부가 진단용 도전 세트에서 모델 강건성 향상에 기여하는가, 특히 부정 및 어휘 중첩 히وري스틱에 대해?
• RQ3 증강으로 인한 성능 향상의 정도가 대조적 의미 대비보다 어휘 다양성 증가 때문인가?
• RQ4 기본 군중 창출 방식을 통해 대조적 증강을 수행할 경우, 무증강 데이터로 훈련한 모델보다 일반화 능력이 뛰어나거나 더 강건한 모델을 얻을 수 있는가?
• RQ5 현재 군중 창출 프로토콜 하에서, 동일한 annotation 비용을 감안할 때 대조적 증강을 통한 데이터 증강에 네트워크 이득이 있는가?

주요 결과

• 대조적 증강된 CNLI 데이터로 훈련한 모델은 유사 크기의 무증강된 SNLI 서브셋으로 훈련한 모델과 비교해 MNLI에서 도메인 외 일반화 능력 향상이 유의미하게 나타나지 않았다.
• 부정 도전 세트에서 CNLI로 훈련한 모델의 성능은 무증강된 SNLI 서브셋 또는 CNLI 시드 예제만으로 훈련한 모델보다 열 劣화되어 강건성 저하를 시사한다.
• CNLI가 CNLI 시드 세트를 초월한 성능 향상은 주로 어휘 다양성 증가 때문이었으며, 4-gram 카운트는 약 21.5k에서 42.5k로 두 배로 증가했다.
• 최소 편집 제약 조건을 적용했음에도 불구하고, CNLI는 유사 크기의 무증강된 SNLI 세트에 비해 약 70% 수준의 2-, 3-, 4-gram 유형만 포함하고 있어 예제당 어휘 다양성이 제한적임을 시사한다.
• 저자들은 대조적 증강이 강건성 향상에 기여한다는 증거를 발견하지 못했고, 오히려 부정어와 모순 예측 간의 연관성 같은 기존 히وري스틱을 악화시킬 수 있음을 시사한다.
• 군중 작업자들이 목표 편집과 새로운 예제 생성에 비슷한 시간을 소비할 가능성이 있으므로, 현재 접근 방식은 강건한 모델 훈련을 위한 표준 데이터 수집 방식에 비해 명백한 이점이 없다.