[논문 리뷰] Natural Perturbation for Robust Question Answering

Daniel Khashabi, Tushar Khot외 1명|arXiv (Cornell University)|2020. 04. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 기존의 질문-답변 예제에 대한 인간이 이끌어내는 자연스러운 미세한 변형—기존 예제에 대한 소규모이고 현실적인 변화—을 사용하여 모델의 견고성과 일반화 능력을 향상시키는 비용 효율적인 방법을 제안한다. 새로운 예제를 처음부터 생성하는 대신 시드 예제를 변형함으로써, 이 방법은 더 높은 견고성과 원래 데이터셋 성능 유지가 가능하며, 특히 변형 비용이 전체 데이터 생성 비용보다 약간 낮을 경우에 특히 유리하다.

ABSTRACT

While recent models have achieved human-level scores on many NLP datasets, we observe that they are considerably sensitive to small changes in input. As an alternative to the standard approach of addressing this issue by constructing training sets of completely new examples, we propose doing so via minimal perturbation of examples. Specifically, our approach involves first collecting a set of seed examples and then applying human-driven natural perturbations (as opposed to rule-based machine perturbations), which often change the gold label as well. Local perturbations have the advantage of being relatively easier (and hence cheaper) to create than writing out completely new examples. To evaluate the impact of this phenomenon, we consider a recent question-answering dataset (BoolQ) and study the benefit of our approach as a function of the perturbation cost ratio, the relative cost of perturbing an existing question vs. creating a new one from scratch. We find that when natural perturbations are moderately cheaper to create, it is more effective to train models using them: such models exhibit higher robustness and better generalization, while retaining performance on the original BoolQ dataset.

연구 동기 및 목표

• 대규모 데이터 증강에 의존하지 않고 자연어 처리 모델이 소규모 입력 변화에 취약한 문제를 해결하기 위해.
• 기존 예제를 인간이 이끌어내는 자연스러운 변형을 통해 기존 훈련 예제를 완전히 새로 생성하는 것보다 더 효율적으로 모델의 견고성을 향상시킬 수 있는지 탐색하기 위해.
• 변형 비용과 모델 성능 간의 상호 교환 관계, 특히 견고성과 일반화 측면에서 평가하기 위해.
• 최소한의 자연스러운 변형이 황금 레이블를 변경하더라도 여전히 효과적인 훈련 데이터를 제공할 수 있음을 입증하기 위해.

제안 방법

• 기존 질문-답변 데이터셋(BoolQ)에서 시드 예제의 집합을 수집하여 변형의 기초로 삼는다.
• 규칙 기반 또는 문법적 변형이 아닌, 현실적인 미세한 입력 변화를 모방하는 인간이 이끌어내는 자연스러운 변형을 적용한다.
• 변형이 황금 레이블를 변경할 수 있도록 허용하여 실제 세계의 분포 이동과 모델의 견고성 도전 과제를 반영한다.
• 변형된 데이터로 질문-답변 모델을 훈련하고, 원래 예제와 변형된 예제 양쪽에서 성능을 평가한다.
• 변형 비용과 전체 데이터 생성 비용의 상대적 비용을 변화시키며, 변형된 데이터로 훈련한 모델과 새로 생성된 예제로 훈련한 모델의 성능과 견고성을 비교한다.

실험 결과

연구 질문

• RQ1 인간이 이끌어내는 자연스러운 변형으로 훈련한 모델은 완전히 새로운 예제로 훈련한 모델에 비해 견고성 측면에서 어떻게 비교되는가?
• RQ2 변형 비용 비율(변형 비용 대비 새로운 예제 생성 비용의 상대적 비용)이 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 황금 레이블를 변경하는 변형도 여전히 모델의 견고성을 향상시키고 원래 데이터셋에서의 성능을 유지할 수 있는가?
• RQ4 어떤 조건에서 데이터 변형이 전체 데이터 생성보다 모델의 견고성 향상에 더 효과적인가?

주요 결과

• 인간이 이끌어내는 자연스러운 변형으로 훈련한 모델은 표준 또는 새로 생성된 예제로 훈련한 모델보다 입력 변화에 더 높은 견고성을 보였다.
• 변형 비용이 새로운 예제 생성 비용보다 약간 낮을 경우, 변형 기반 접근 방식이 더 나은 일반화 성능을 보였다.
• 황금 레이블가 변형되더라도 이 방법은 원래 BoolQ 데이터셋에서 높은 성능을 유지하면서 견고성을 향상시켰다.
• 특히 기존 예제를 변형하는 데 드는 비용이 새로운 예제를 생성하는 것에 비해 낮을 경우, 이 방법은 전체 데이터 생성보다 비용 효율적이었다.