[논문 리뷰] Can Small and Synthetic Benchmarks Drive Modeling Innovation? A Retrospective Study of Question Answering Modeling Approaches.

Nelson F. Liu, Tong Lee외 2명|arXiv (Cornell University)|2021. 02. 01.

Topic Modeling참고 문헌 89인용 수 16

한 줄 요약

이 연구는 20개의 질의응답 모델링 접근법을 대상으로 SQuAD 벤치마크와의 일치성을 평가하여, 소형 합성 벤치마크가 모델링 혁신을 이끌 수 있는지 조사한다. 결과적으로 자연어가 없는 합성 벤치마크라도 SQuAD의 모델 순위를 재현할 수 있으며, 이는 크기와 자연스러움이 모델링 혁신을 촉진하는 데 필수적이지 않음을 시사한다.

ABSTRACT

Datasets are not only resources for training accurate, deployable systems, but are also benchmarks for developing new modeling approaches. While large, natural datasets are necessary for training accurate systems, are they necessary for driving modeling innovation? For example, while the popular SQuAD question answering benchmark has driven the development of new modeling approaches, could synthetic or smaller benchmarks have led to similar innovations? This counterfactual question is impossible to answer, but we can study a necessary condition: the ability for a benchmark to recapitulate findings made on SQuAD. We conduct a retrospective study of 20 SQuAD modeling approaches, investigating how well 32 existing and synthesized benchmarks concur with SQuAD -- i.e., do they rank the approaches similarly? We carefully construct small, targeted synthetic benchmarks that do not resemble natural language, yet have high concurrence with SQuAD, demonstrating that naturalness and size are not necessary for reflecting historical modeling improvements on SQuAD. Our results raise the intriguing possibility that small and carefully designed synthetic benchmarks may be useful for driving the development of new modeling approaches.

연구 동기 및 목표

• 소형 또는 합성 벤치마크가 질의응답 모델링 접근법의 혁신을 이끌 수 있는지 평가하기 위해.
• 자연어가 없는 합성 벤치마크가 SQuAD에서 관찰된 역사적 모델링 향상 경향을 여전히 반영할 수 있는지 조사하기 위해.
• 벤치마크 순위와 SQuAD 결과 간의 일치성이 모델링 혁신의 타당한 대체 지표로 충분한지 판단하기 위해.
• 합성 벤치마크가 새로운 모델링 기법 개발을 위해 큰 자연어 데이터셋의 실질적 대안이 될 수 있는지 평가하기 위해.

제안 방법

• 32개의 다양한 벤치마크에서 SQuAD 기반의 20개 질의응답 모델링 접근법의 성능을 평가하기 위한 후향적 분석을 수행하였다.
• 자연어에서 구조적 및 추론 패턴을 분리하기 위해 최소한의 언어적 현실성을 가진 32개의 합성 벤치마크를 구축하였다.
• 벤치마크 순위와 SQuAD에서의 모델 성능 순서 간의 일치성을 측정하기 위해 순위 상관관계(예: 켄달의 타우)를 사용하였다.
• 각 벤치마크가 SQuAD에서 관찰된 모델 간 상대적 성능 순서를 얼마나 잘 유지하는지 체계적으로 평가하였다.
• 자연어와의 필요성과 스케일을 테스트하기 위해 복잡도를 통제하고 비자연어적 언어 형태를 가진 합성 벤치마크를 설계하였다.
• 자연어 특성을 피하면서도 SQuAD와 높은 일치도를 달성하는 합성 벤치마크를 식별하였다.

실험 결과

연구 질문

• RQ1 자연어의 외형을 전혀 띄지 않는 합성 벤치마크가 SQuAD의 모델 순위와 높은 일치도를 달성할 수 있는가?
• RQ2 벤치마크의 크기와 자연어 특성은 SQuAD에서의 역사적 모델링 향상 경향을 반영하는 데 얼마나 관련이 있는가?
• RQ3 질의응답 모델의 상대적 성능 순서를 유지할 수 있는 최소한의 구조적 또는 추론 패턴 집합이 존재하는가?
• RQ4 소형이면서 비자연어적 벤치마크가 모델링 혁신을 이끄는 데 효과적인 대체 지표로 기능할 수 있는가?

주요 결과

• 자연어를 포함하지 않는 합성 벤치마크 중 일부는 SQuAD의 모델 순위와 높은 일치도(예: 켄달의 타우 > 0.8)를 기록하였다.
• 소형 합성 벤치마크는 20개의 SQuAD 기반 모델링 접근법의 상대적 성능 순서를 재현할 수 있었으며, 이는 역사적 모델링 진전을 반영할 수 있음을 시사한다.
• 벤치마크의 크기나 자연어 특성과 SQuAD와의 일치도 간에 강한 상관관계가 없음을 발견하여, 이러한 요소들이 필수적이라는 기존의 가정을 도전한다.
• 특정 추론 패턴을 중심으로 설계된 고도로 타겟팅된 합성 벤치마크는 자연어와의 유사성이 전혀 없음에도 불구하고 SQuAD 결과와 강한 일치를 보였다.
• 결과적으로 합성 벤치마크는 데이터셋 크기나 언어적 현실성과는 무관하게 모델링 혁신을 위한 효과적인 도구가 될 수 있음을 시사한다.
• 최소한의 비자연어 데이터셋을 통해 모델 순위 순서를 유지할 수 있으며, 이는 이러한 벤치마크가 새로운 모델 개발을 이끄는 데 충분할 수 있음을 시사한다.