[논문 리뷰] A Review of Winograd Schema Challenge Datasets and Approaches

Vid Kocijan, Thomas Lukasiewicz외 3명|arXiv (Cornell University)|2020. 04. 23.

Topic Modeling참고 문헌 43인용 수 20

한 줄 요약

이 논문은 윈오그라드 스키마 챌린지(Winograd Schema Challenge, WSC) 데이터셋과 접근 방식을 검토하며, Wsc273 및 Wsc285와 같은 벤치마크 데이터셋을 분석하고 BERT 및 RoBERTa의 미세조정을 포함한 신경망 방법을 평가한다. 주요 발견은 최첨단 모델이 Wsc273에서 약 90%의 정확도를 달성하며, 이는 신경망이 진정한 공통지식 추론이 아닌 통계적 패턴을 사용해 WSC를 해결할 수 있음을 보여주며, 원래의 'Google-증명 불가' 주장에 도전한다.

ABSTRACT

The Winograd Schema Challenge is both a commonsense reasoning and natural language understanding challenge, introduced as an alternative to the Turing test. A Winograd schema is a pair of sentences differing in one or two words with a highly ambiguous pronoun, resolved differently in the two sentences, that appears to require commonsense knowledge to be resolved correctly. The examples were designed to be easily solvable by humans but difficult for machines, in principle requiring a deep understanding of the content of the text and the situation it describes. This paper reviews existing Winograd Schema Challenge benchmark datasets and approaches that have been published since its introduction.

연구 동기 및 목표

• 윈오그라드 스키마 챌린지 벤치마크 데이터셋, 즉 Wsc273, Wsc285 및 다국어 변형의 설계, 구조 및 발전을 분석하기 위해.
• 특히 BERT 및 RoBERTa를 포함한 신경망 기반 모델이 WSC 및 관련 공명사용 데이터셋에서의 성능을 평가하기 위해.
• 현대 언어 모델이 WSC를 진정한 공통지식 추론을 통해 해결하는지, 아니면 데이터의 통계적 편향을 악용하여 해결하는지 조사하기 위해.
• 연결성, 스위치 가능성, 탈편향화와 같은 데이터셋 특성이 모델 성능에 미치는 영향을 평가하기 위해.
• 현재 접근 방식의 한계를 식별하고, 공통지식 추론을 위한 더 견고하고 탐색 가능한 벤치마크가 필요하다는 점을 제안하기 위해.

제안 방법

• 원래의 윈오그라드 스키마 100개와 Wsc273, Wsc285, Dpr, Wnli, Pdp, WinoGrande를 포함한 후속 데이터셋에 대한 체계적 검토.
• 모델 편향과 일관성 평가를 위해 Wsc273 예제를 연관성(13.6%) 및 스위치 가능성(48%)으로 분류.
• 마스크된 언어 모델링 및 다음 문장 예측 작업을 사용하여 Dpr 및 WSC 데이터셋에서 BERT 및 RoBERTa 모델의 미세조정.
• 핵심어 추론 성능 향상을 위해 AMS(정렬, 마스킹, 선택) 및 WikiCREM과 같은 전문화된 사전학습 방법 적용.
• Wsc273, Wnli, Pdp 및 Dpr에서의 모델 성능 평가와 WinoGrande의 탈편향된 버전에 대한 분석 실험 수행.
• 스위치 가능한 예제 및 검증 세트에서의 모델 행동 분석을 통해 데이터셋 편향 악용 여부 탐지.

실험 결과

연구 질문

• RQ1 현대 신경망 모델이 진정한 공통지식 추론이 아닌 통계적 패턴을 통해 윈오그라드 스키마 챌린지를 얼마나 해결하는가?
• RQ2 연결성 및 스위치 가능성과 같은 데이터셋 특성이 모델 성능과 일반화 능력에 어떻게 영향을 미치는가?
• RQ3 대규모 마스크된 핵심어 데이터셋에서의 사전학습이 하류 WSC 벤치마크 성능 향상에 기여하는가?
• RQ4 어떤 모델은 Wsc273에서 높은 정확도를 달성하지만 스위치 가능한 또는 탈편향된 예제에서는 탄탄하지 못한 이유는 무엇인가?
• RQ5 WSC에서의 높은 성능이 NLP 분야의 향후 공통지식 추론 평가에 어떤 영향을 미치는가?

주요 결과

• 최고의 성능을 보인 모델, 예를 들어 WinoGrande에서 미세조정된 RoBERTa가 Dpr에서 93.1%, Wsc273에서 90.1%, Pdp에서 87.5%의 정확도를 기록하여 표준 벤치마크에서 강력한 성능을 보임.
• RoBERTa가 WinoGrande에서 79.1%의 정확도, Wsc273에서 90.1%의 정확도를 기록하며, Wsc273에서 보고된 바 가장 높은 결과를 기록함. 이는 대규모 사전학습의 영향을 시사함.
• WinoGrande 탈편향 데이터로 훈련된 모델은 검증 세트에서 우연 수준의 성능을 보이며, WinoGrande 전체에서의 높은 정확도가 추론이 아닌 데이터 편향 악용에서 기인할 수 있음을 시사함.
• Wsc273의 약 48% 예제는 스위치 가능한 것으로, 대체 참조가 가능한 문장에서 주어진 대명사의 참조를 뒤바꿀 수 있으며, 모델은 후보가 바뀔 경우 종종 일관성 없이 작동함.
• Wsc273의 약 13.6% 예제는 연관성 있는 것으로, 정답이 단어 연관성(예: '지붕' → '수리함')과 강하게 연결되어 있으며, 비연관성 사례보다 모델이 훨씬 더 잘 수행함.
• WSC 벤치마크에서의 높은 정확도에도 불구하고, 모델은 일상적인 상황에 대한 간단한 질문에 답하거나 일관된 텍스트를 생성하는 데 실패함으로써 신뢰할 수 있는 공통지식 추론이나 서사 이해 능력을 보이지 않음.