[논문 리뷰] The Defeat of the Winograd Schema Challenge

Vid Kocijan, Ernest Davis외 3명|arXiv (Cornell University)|2022. 01. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어처리 분야에서 공통지식 추론을 위한 벤치마크로서의 윈오프 스키마 챌린지(Winograd Schema Challenge, WSC)의 쇠퇴를 분석하며, 2019년까지 최신 트랜스포머 기반 모델, 특히 RoBERTa와 GPT-3가 WSC273에서 90% 이상의 정확도를 달성한 것으로 보여주고 있다. 저자들은 사전 훈련, 미세조정 및 대체 데이터셋인 WinoGrande와 같은 대규모 유사 데이터셋의 출현으로 인해 모델이 진정한 공통지식 이해가 아닌 통계적 패턴을 이용하게 되었기 때문에 이 챌린지는 실질적으로 '도전에 패배'했다고 주장한다.

ABSTRACT

The Winograd Schema Challenge - a set of twin sentences involving pronoun reference disambiguation that seem to require the use of commonsense knowledge - was proposed by Hector Levesque in 2011. By 2019, a number of AI systems, based on large pre-trained transformer-based language models and fine-tuned on these kinds of problems, achieved better than 90% accuracy. In this paper, we review the history of the Winograd Schema Challenge and discuss the lasting contributions of the flurry of research that has taken place on the WSC in the last decade. We discuss the significance of various datasets developed for WSC, and the research community's deeper understanding of the role of surrogate tasks in assessing the intelligence of an AI system.

연구 동기 및 목표

• 인공지능 분야에서 공통지식 추론을 위한 벤치마크로서의 윈오프 스키마 챌린지의 역사적 흐름과 궁극적 실패를 분석하기 위해.
• 윈오프 스키마 챌린지가 깊은 이해와 공통지식을 테스트하기 위해 설계되었음에도 불구하고 대규모 사전 훈련된 언어 모델이 왜 높은 성능을 내었는지 조사하기 위해.
• WinoGrande와 WNLI와 같은 유사 데이터셋이 진정한 추론 없이도 높은 정확도를 가능하게 하며 연구 초점을 이동시킨 데서 기인한 역할을 검토하기 위해.
• 미세조정, 모델 크기, 데이터 증강이 윈오프 스키마 벤치마크 전반에서 성능에 미치는 영향을 평가하기 위해.
• 이러한 결과들이 미래의 인공지능 지능 평가 및 자연어처리 분야에서의 유사 벤치마크의 타당성에 미치는 영향을 평가하기 위해.

제안 방법

• 2011년 시작된 윈오프 스키마 챌린지의 역사를 종합적으로 검토하여 2019년까지의 고정확도 결과까지 분석하기 위해.
• BERT, RoBERTa, GPT-2, GPT-3, T5와 같은 최고 성능 모델의 아키텍처 및 훈련 전략을 분석하기 위해.
• WSC 유사 데이터에 대한 미세조정과 DPR, ConceptNet, MaskedWiki와 같은 외부 지식 소스의 역할을 평가하기 위해.
• WinoGrande와 WNLI와 같은 유사 데이터셋을 검토하여 데이터 증강 및 다중 작업 학습을 통해 성능 향상을 이룬 원인을 분석하기 위해.
• WSC273, WNLI, WinoGrande, PDP 등의 데이터셋 간 성능 비교를 통해 성능 추세와 모델의 진화를 추적하기 위해.
• 주요 추세 식별: 모델 크기 증가, 미세조정 의존도 증가, 고품질 소규모 데이터셋에서 대규모 합성 데이터셋으로의 전환.

실험 결과

연구 질문

• RQ1 윈오프 스키마 챌린지가 깊은 이해를 테스트하기 위해 설계되었음에도 불구하고 공통지식 추론을 위한 견고한 벤치마크로 기능하지 못한 이유는 무엇인가?
• RQ2 사전 훈련된 언어 모델이 WSC에서 높은 정확도를 달성한 데서 진정한 공통지식 추론이 아닌 통계적 패턴에 의존한 정도는 어느 정도인가?
• RQ3 WinoGrande와 WNLI와 같은 유사 데이터셋의 출현이 원래 WSC가 의미 있는 평가 도구로서의 기능을 상실하게 된 데 기여한 방식은 무엇인가?
• RQ4 미세조정과 외부 지식 소스는 WSC 벤치마크에서의 모델 성능 향상에 어떤 역할을 했는가?
• RQ5 이러한 결과가 인공지능 시스템 평가 및 향후 자연어처리 분야의 벤치마크 설계에 미치는 광범위한 영향은 무엇인가?

주요 결과

• 2019년 기준 RoBERTa 기반 모델이 WSC273 벤치마크에서 90.1%의 정확도를 기록하여 Levesque가 인간 수준의 공통지식 추론을 상징하는 기준으로 삼은 90% 기준선을 초과하였다.
• 대규모 합성 데이터셋인 WinoGrande의 도입으로 연구 초점이 이동하였으며, 이후 대부분의 모델이 원래 WSC가 아닌 이 데이터셋에서만 평가하게 되었다.
• WSC 유사 데이터에 대한 미세조정, 특히 DPR와 같은 검색 기반 보강 방법을 사용할 경우 성능 향상이著명했으며, He 등(2019)의 모델은 WSC273에서 75.1%의 정확도와 WNLI에서 89%의 정확도를 기록하였다.
• GPT-3는 작업별 미세조정 없이도 WSC273에서 88.3%의 정확도를 기록하여, few-shot 인라인 학습이 챌린지에서 높은 성능을 낼 수 있음을 보여주었다.
• WNLI는 소규모이지만 널리 사용되는 유사 데이터셋으로서, 2019년 74.7%에서 2020년 85.6%로 상승하여 데이터 및 모델 스케일링을 통한 빠른 성과 향상을 보였다.
• 더 큰 모델(예: GPT-3, T5-3B)과 다양한 데이터셋(예: Khashabi 등, 2020)에서의 다중 작업 미세조정의 추세가 성능 향상을 더욱 가속화하였으며, 2021년 기준 WinoGrande에서 91.3%의 정확도에 도달하였다.