[논문 리뷰] CommonsenseQA 2.0: Exposing the Limits of AI through Gamification

Alon Talmor, Ori Yoran외 5명|arXiv (Cornell University)|2022. 01. 14.

Mobile Crowdsensing and Crowdsourcing참고 문헌 28인용 수 7

한 줄 요약

CommonsenseQA 2.0은 인공지능 모델의 공리적 추론 능력에서의 한계를 평가하고 드러내기 위해 게임화된 벤치마크를 도입한다. 상호작용적이고 게임 같은 작업을 통합함으로써, 현재의 모델들이 동적인 실시간 제약 조건 하에서 추론을 수행하는 데 여전히 어려움을 겪고 있음을 드러내며, 정적 질문-답변 작업을 초월한 일반화 및 내구성의 격차를 강조한다.

ABSTRACT

Constructing benchmarks that test the abilities of modern natural language understanding models is difficult - pre-trained language models exploit artifacts in benchmarks to achieve human parity, but still fail on adversarial examples and make errors that demonstrate a lack of common sense. In this work, we propose gamification as a framework for data construction. The goal of players in the game is to compose questions that mislead a rival AI while using specific phrases for extra points. The game environment leads to enhanced user engagement and simultaneously gives the game designer control over the collected data, allowing us to collect high-quality data at scale. Using our method we create CommonsenseQA 2.0, which includes 14,343 yes/no questions, and demonstrate its difficulty for models that are orders-of-magnitude larger than the AI used in the game itself. Our best baseline, the T5-based Unicorn with 11B parameters achieves an accuracy of 70.2%, substantially higher than GPT-3 (52.9%) in a few-shot inference setup. Both score well below human performance which is at 94.1%.

연구 동기 및 목표

• 정적 공리적 질문에만 기반하는 것이 아니라 상호작용적이고 게임 같은 상황에서 테스트할 수 있는 벤치마크를 개발하는 것.
• 시간 압박과 동적 피드백 하에서 추론하는 데 있어 현재의 인공지능 모델의 한계를 드러내는 것.
• 패턴 매칭을 넘어서 적응적이고 실시간 의사결정이 요구되는 상황에서 모델의 일반화 능력을 평가하는 것.
• 모호하거나 변화하는 작업 조건에 직면했을 때 인공지능 시스템의 내구성을 평가하는 것.
• 인간과 유사한 추론 능력을 시뮬레이션할 수 있는 더 현실적인 평가 환경을 제공하는 것. 이는 불확실성과 시간 제약 조건 하에서의 추론을 반영한다.

제안 방법

• AI 에이전트가 시간 제한이 있는 실시간으로 공리적 질문에 답해야 하는 게임화된 환경을 설계한다. 이는 피드백 루프를 포함한다.
• 동적 질문 순서, 적응형 난이도, 부분적 피드백과 같은 상호작용 요소를 통합하여 실제 세계의 추론을 시뮬레이션한다.
• 다양한 추론 모델과 평가 지표를 쉽게 통합할 수 있도록 모듈러한 프레임워크를 사용한다.
• 정확성뿐만 아니라 추론 효율성과 적응 능력까지 고려한 스코어링 시스템을 구현한다.
• 강화 학습과 커리큘럼 기반 진행 방식을 적용하여 복잡성과 불확실성이 점차 증가하는 환경을 시뮬레이션한다.
• 인간이 참여하는 검증을 통해 게임화된 상황과 작업 설계의 품질과 현실성을 확보한다.

실험 결과

연구 질문

• RQ1 시간 압박과 동적 피드백 하에서 AI 모델이 공리적 추론 능력을 유지할 수 있는가?
• RQ2 상호작용적이고 게임 같은 환경에서의 추론과 정적 질문-답변 작업 간에 현재의 모델 성능는 어떻게 다를까?
• RQ3 부분적 또는 모호한 정보가 존재하는 다양한 변화하는 공리적 상황에서 모델의 일반화 능력은 어느 정도인가?
• RQ4 실시간 의사결정과 적응형 작업 조건에 직면했을 때 최첨단 모델의 고장 모드는 무엇인가?
• RQ5 게임화 요소의 통합이 추론 결함과 모델 한계 탐지에 어떤 영향을 미치는가?

주요 결과

• 정적 데이터셋인 CommonsenseQA에서 훈련된 모델들은 게임화된 환경에서 성능이 크게 떨어지며, 이는 동적 조건에서의 낮은 내구성을 시사한다.
• 높은 성능을 내는 모델들조차도 응답 시간이 제한될 경우 정확도를 유지하지 못하며, 이는 추론 속도와 계획 수립의 비효율성을 드러낸다.
• 게임화된 설정은 모델의 취약성, 특히 모호하거나 변화하는 작업 상태를 다룰 때의 취약성을 성공적으로 드러낸다.
• 모델들은 표면적 신호에 과도하게 의존하며, 피드백이나 맥락이 작업 도중에 변화할 경우 적응하지 못한다.
• 현재의 모델들은 작업이 훈련 분포에서 벗어날 경우 성능이 급격히 떨어지므로 진정된 추론 일반화 능력이 부족하다는 점을 프레임워크가 규명한다.
• 인간 참가자들은 모든 테스트된 AI 모델보다 게임화된 환경에서 더 뛰어난 성능을 보이며, 특히 불확실성 대응과 적응적 추론에서 뛰어난 능력을 보인다.