[논문 리뷰] The Effect of Natural Distribution Shift on Question Answering Models

J. J. Miller, Karl Krauth외 2명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 55인용 수 22

한 줄 요약

이 논문은 위키백과, 뉴욕타임스 기사, 레딧 게시물, 애마존 제품 리뷰에서 유래한 네 개의 새로운 SQuAD 테스트 세트를 통해 질문 응답 모델의 자연적 분포 이탈에 대한 강건성(로버스트니)을 평가한다. 원래 SQuAD 테스트 세트에서의 적응적 오버피팅 증거가 없음에도 불구하고, 모델들은 새로운 도메인에서 F1 점수 평균 3.8, 14.0, 17.4점 하락을 겪으며, 인간의 성능은 안정을 유지함으로써 벤치마크 분포를 초월한 모델 일반화 능력의 심각한 격차를 드러낸다.

ABSTRACT

We build four new test sets for the Stanford Question Answering Dataset (SQuAD) and evaluate the ability of question-answering systems to generalize to new data. Our first test set is from the original Wikipedia domain and measures the extent to which existing systems overfit the original test set. Despite several years of heavy test set re-use, we find no evidence of adaptive overfitting. The remaining three test sets are constructed from New York Times articles, Reddit posts, and Amazon product reviews and measure robustness to natural distribution shifts. Across a broad range of models, we observe average performance drops of 3.8, 14.0, and 17.4 F1 points, respectively. In contrast, a strong human baseline matches or exceeds the performance of SQuAD models on the original domain and exhibits little to no drop in new domains. Taken together, our results confirm the surprising resilience of the holdout method and emphasize the need to move towards evaluation metrics that incorporate robustness to natural distribution shifts.

연구 동기 및 목표

• SQuAD 모델이 동일한 테스트 세트에 대한 반복 평가로 인해 원래 테스트 세트에 오버피팅했는지 평가하기 위해.
• SQuAD 모델의 일반화 성능을 위키백과 외부의 자연적 분포 이탈 상황에 대해 평가하기 위해.
• 다양한 도메인에서 상태최선의 모델과 강력한 인간 기준 성능 간의 강건성 비교를 위해.
• 현재 평가 관행이 실제 세계의 강건성과 부합하지 않을 수 있음을 입증하기 위해.

제안 방법

• 동일한 데이터 생성 파이프라인을 사용하여 네 개의 새로운 SQuAD 스타일 테스트 세트를 구성함: 원래 도메인인 위키백과에서 하나, 나머지 세 개는 뉴욕타임스 기사, 레딧 게시물, 애마존 제품 리뷰에서 유래함.
• F1 점수를 주요 평가 지표로 사용하여 다양한 최신 SQuAD 모델을 네 개의 테스트 세트 전반에 걸쳐 평가함.
• 저자들이 수동으로 질문을 주석 처리하고 답변한 결과를 기반으로 강력한 인간 기준 성능을 확립함.
• 모델의 원래 SQuAD 테스트 세트 성능과 새로운 도메인 성능 간의 관계를 분석하기 위해 선형 회귀 분석을 사용함.
• 원래 SQuAD 개발 세트(공개된 바 있음)와 새로운 테스트 세트에서의 모델 성능을 비교하여 적응적 오버피팅 여부를 탐지함.
• 95% 신뢰구간을 포함한 F1 점수를 보고하고 통계적 유의성 분석을 수행함.

실험 결과

연구 질문

• RQ1 동일한 검증 세트에 대한 반복 평가로 인해 SQuAD 모델에서 적응적 오버피팅의 증거가 있는가?
• RQ2 SQuAD 모델은 위키백과에서 뉴스 기사, 소셜 미디어, 제품 리뷰로의 자연적 분포 이탈 상황에 어떻게 일반화되는가?
• RQ3 이러한 새로운 도메인 외부 테스트 세트에서 인간의 성능은 최신 SQuAD 모델과 어떻게 비교되는가?
• RQ4 원래 SQuAD 테스트 세트에서의 성능이 새로운 도메인에서의 성능을 얼마나 잘 예측하는가?

주요 결과

• SQuAD 테스트 세트에서 적응적 오버피팅의 증거가 없음. 원래 테스트 세트 성능과 새로운 테스트 세트 성능 간 상관관계가 매우 강하며, 결정계수 R² 값은 0.99이고 기울기는 약 1에 가까움.
• 뉴욕타임스 테스트 세트에서 모델은 평균 F1 점수 3.8점 하락을 겪으며 자연적 분포 이탈 상황에서 중간 정도의 성능 저하를 보임.
• 레딧 테스트 세트에서 모델은 평균 F1 점수 14.0점 하락을 겪으며 비공식적이고 대화체적인 텍스트에서 심각한 강건성 문제를 드러냄.
• 애마존 제품 리뷰 테스트 세트에서 모델은 평균 F1 점수 17.4점 하락을 겪으며, 도메인 특화된 사용자 생성 콘텐츠에 대한 일반화 능력 부족을 강력히 보여줌.
• 인간의 성능은 모든 도메인에서 매우 안정적이며, F1 점수 0.1~3.0점 하락에 그치며, 새로운 테스트 세트에서 최고의 모델보다 항상 뛰어남.
• 원래 도메인과 새로운 도메인 성능 간 강력한 상관관계(기울기 ~1)는 SQuAD에서 F1 점수 1점의 향상이 새로운 도메인에서도 약 1점의 향상으로 이어짐을 시사하지만, 절대적인 성능 격차는 여전히 크며 유지됨.