[논문 리뷰] On the Evaluation of Common-Sense Reasoning in Natural Language Understanding.

Paul Trichelair, Ali Emami외 4명|arXiv (Cornell University)|2018. 11. 05.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 Winograd Schema Challenge(WSC)에서 개별 예제의 복잡도를 분석함으로써 NLP 모델의 공리적 추론 능력을 평가하기 위한 프로토콜을 제안한다. 이는 크기의 한계와 변동하는 곤도로 인한 한계를 해결하기 위한 것이다. 두 가지 새로운 복잡도 측정법을 적용함으로써 이 연구는 이전 결과를 명확히 하고 조건화함으로써 공리적 추론 벤치마크 평가에서 정당하지 않은 결론을 방지한다.

ABSTRACT

The NLP and ML communities have long been interested in developing models capable of common-sense reasoning, and recent works have significantly improved the state of the art on benchmarks like the Winograd Schema Challenge (WSC). Despite these advances, the complexity of tasks designed to test common-sense reasoning remains under-analyzed. In this paper, we make a case study of the Winograd Schema Challenge and, based on two new measures of instance-level complexity, design a protocol that both clarifies and qualifies the results of previous work. Our protocol accounts for the WSC's limited size and variable instance difficulty, properties common to other common-sense benchmarks. Accounting for these properties when assessing model results may prevent unjustified conclusions.

연구 동기 및 목표

• 공리적 추론 벤치마크(예: Winograd Schema Challenge(WSC))에서 작업 복잡도의 부족한 분석을 해결하기 위해.
• WSC의 제한된 크기와 변동하는 개별 예제 곤도를 고려한 프로토콜을 개발하기 위해.
• 개별 예제의 복잡도 측정법을 통합함으로써 이전 모델 평가 결과를 명확히 하고 조건화하기 위해.
• 유사한 구조적 한계를 가진 다른 공리적 추론 벤치마크에 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 개별 WSC 예제를 평가하기 위한 두 가지 새로운 개별 예제 수준의 복잡도 측정법을 도입하기 위해.
• 이러한 측정법을 활용해 기존 모델의 WSC 성능을 재평가하기 위해.
• 각 예제의 복잡도에 따라 가중치를 조정하거나 필터링함으로써 모델 평가를 조정하는 프로토콜을 설계하기 위해.
• 이 프로토콜을 사용해 이전 최고 성능 결과를 재분석함으로써, 곤도 분포가 균형 잡히지 않은 경우 발생할 수 있는 편향을 드러내기 위해.
• 모든 예제를 동일하게 취급하는 대신, 다양한 곤도 수준에서 모델 성능이 어떻게 변하는지에 초점을 맞추기 위해.
• 이 프로토콜이 유사한 특성을 가진 다른 공리적 추론 벤치마크에 일반화 가능하도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 개별 Winograd Schema 예제의 곤도는 어떻게 변동하는가? 그리고 이를 측정 가능한 지표로 정량화할 수 있는가?
• RQ2 WSC에서의 변동하는 개별 예제 곤도는 모델 성능 해석에 어느 정도 영향을 미치는가?
• RQ3 복잡도 인지 평가 프로토콜은 벤치마크 결과의 신뢰성과 공정성을 향상시킬 수 있는가?
• RQ4 개별 예제 수준의 복잡도를 고려할 경우, 이전 최고 성능 모델 결과는 어떻게 변화하는가?
• RQ5 이 프로토콜은 유사한 한계를 가진 다른 공리적 추론 벤치마크에 적용할 수 있는가?

주요 결과

• Winograd Schema Challenge는 개별 예제의 곤도에 있어 상당한 변동을 보이며, 이는 이전 평가에서 균일하게 고려되지 않았다.
• 모델 성능 지표는 쉬운 예제와 어려운 예제의 분포에 민감하여, 조정되지 않은 상태에서는 잘못된 결론을 이끌 수 있다.
• 제안된 프로토콜은 일부 고성능 모델이 더 쉬운 예제에서 더 큰 이점을 얻고 있음을 드러내어 보고된 정확도 향상의 탄탄함을 의심하게 한다.
• 개별 예제 수준의 복잡도를 통합함으로써 프로토콜은 모델 능력에 대한 더 세밀하고 신뢰할 수 있는 평가를 제공한다.
• 연구는 복잡도를 고려함으로써 더 타당하고 조건화된 벤치마크 결과 해석이 가능하다는 것을 입증한다.
• 이 프레임워크는 일반화 가능하며, 제한된 크기와 변동하는 곤도를 가진 다른 공리적 추론 벤치마크에 적용할 수 있다.