[논문 리뷰] CODAH: An Adversarially Authored Question-Answer Dataset for Common Sense

Michael Chen, Mike D’Arcy외 3명|arXiv (Cornell University)|2019. 04. 08.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

CODAH는 최첨단 신경망 모델의 약점을 전적으로 노출시키기 위해 고안된 도전적이고 적대적인 공통지식 질문-답변 데이터셋을 소개한다. 인간 평가자들이 상태 기준 신경망 모델의 약점을 공격적으로 노출시키기 위해 질문을 설계한다. SWAG에서 미세조정을 거친 BERT-Large는 CODAH에서 67.5%의 정확도를 기록했으나, 인간의 성능은 95.3%에 이르며, 이는 현재 모델의 진정된 공통지식 추론 능력에 대한 심각한 격차를 드러낸다.

ABSTRACT

Commonsense reasoning is a critical AI capability, but it is difficult to construct challenging datasets that test common sense. Recent neural question answering systems, based on large pre-trained models of language, have already achieved near-human-level performance on commonsense knowledge benchmarks. These systems do not possess human-level common sense, but are able to exploit limitations of the datasets to achieve human-level scores. We introduce the CODAH dataset, an adversarially-constructed evaluation dataset for testing common sense. CODAH forms a challenging extension to the recently-proposed SWAG dataset, which tests commonsense knowledge using sentence-completion questions that describe situations observed in video. To produce a more difficult dataset, we introduce a novel procedure for question acquisition in which workers author questions designed to target weaknesses of state-of-the-art neural question answering systems. Workers are rewarded for submissions that models fail to answer correctly both before and after fine-tuning (in cross-validation). We create 2.8k questions via this procedure and evaluate the performance of multiple state-of-the-art question answering systems on our dataset. We observe a significant gap between human performance, which is 95.3%, and the performance of the best baseline accuracy of 67.5% by the BERT-Large model.

연구 동기 및 목표

• 기존 공통지식 벤치마크에서 신경망 모델의 높은 성능와 진정된 인간 수준의 공통지식 추론 능력 부족 간 격차를 해소하기 위해.
• 모델의 약점을 공격적으로 노출시키기 위해 질문을 적대적으로 구성함으로써 더 견고한 평가 기준을 개발하기 위해.
• SWAG와 같은 기존 데이터셋으로는 불가능한 수준을 초월해, 미세조정 후에도 모델이 도전받을 수 있도록 데이터셋을 구성하기 위해.
• 현재 모델이 여전히 어려움을 겪는 특정 유형의 공통지식 추론(예: 정량적 추론, 否정, 대상 참조)을 특정하기 위해.

제안 방법

• 평가자들은 사전 학습된 언어 모델(예: BERT 또는 GPT)의 행동을 학습하고, 미세조정 이전 및 이후 모두에서 모델이 잘못된 답을 하도록 질문을 생성하도록 지시받는다.
• 교차 검증 절차를 통해 질문은 초기 모델과 미세조정된 버전 모두에서 모델을 속일 수 있을 때만 수락되며, 이는 적대적 품질을 유도한다.
• SWAG와 유사한 문장 완성 다중선택형 형식을 사용하지만, 모델의 한계를 드러내기 위해 특별히 설계된 질문을 포함한다.
• 성능 평가는 2,800개의 질문으로 구성된 별도의 테스트 세트에서 평가되며, 모델들은 SWAG에서 미세조정하기 전과 후 모두 테스트된다.
• 제거 분석을 통해 CODAH에서의 성능와 SWAG + CODAH에서의 성능를 비교하고, 데이터셋 크기의 영향을 평가한다.
• 정답만을 사용하는 기초 모델을 사용해, 정답 수준의 특징(예: 길이, 구조)이 모델 성능에 기여하는지 평가한다.

실험 결과

연구 질문

• RQ1 인간이 적대적으로 설계한 질문은 최첨단 신경망 모델과 인간 전문가 간의 공통지식 추론 과제에서 성능 격차를 크게 줄일 수 있는가?
• RQ2 BERT와 GPT-1과 같은 기존 모델은 깊은 공통지식 이해보다는 정답 또는 맥락의 표면적 패턴에 의존하는가?
• RQ3 정량적 추론, 부정, 대상 참조와 같은 공통지식 추론 유형 중 어느 것이 현재 모델에게 가장 어려운가?
• RQ4 SWAG에서의 미세조정은 CODAH와 같은 새로운 적대적 구성 데이터셋으로의 일반화 능력을 향상시키는가, 아니면 성능 격차를 메울 수 있는가?
• RQ5 최신 모델 버전에 맞춰 평가자가 적응하는 동적 데이터 수집 과정은 더 견고하고 확장 가능한 벤치마크를 생성할 수 있는가?

주요 결과

• CODAH에서 인간의 성능은 95.3%이며, SWAG와 SNLI에서 보고된 85.0%와 87.7%보다 뚜렷하게 높아, CODAH 질문은 진정된 공통지식 추론이 필요하다는 것을 확인한다.
• 가장 높은 성능를 기록한 모델인 BERT-Large는 SWAG에서 미세조정한 후에도 CODAH에서 67.5%의 정확도에 머물러 있어 인간 수준의 추론 능력과의 심각한 격차를 보여준다.
• GPT-1은 교차 검증에서 CODAH에서 65.5%의 정확도를 기록했고, BERT-Large는 CODAH에서 미세조정한 후 69.5%의 정확도를 기록해, 심지어 강력한 모델이라도 적대적 예제에서 어려움을 겪음을 보여준다.
• 정량적 추론 질문은 BERT와 GPT 모두에게 특히 어려움을 줘, 다양한 모델에서 낮은 정확도를 기록하며 수치적 공통지식 추론 능력의 핵심적 약점을 드러낸다.
• 정답 전용 기초 모델은 BERT에서 52.2%, GPT에서 53.4%의 성능를 기록해, 정답 수준의 패턴만으로는 모델 성능를 설명할 수 없으며, 타당한 답과 비현실적인 답을 구별하기 위해 공통지식 추론이 필요하다는 것을 시사한다.
• 데이터셋 크기를 동일하게 맞춘 경우에도 CODAH는 축소된 SWAG보다 더 어려운 것으로 나타났으며, 특히 BERT의 경우 7.7%의 성능 격차(75.2%의 SWAG 대비 67.5%의 CODAH)를 보여, CODAH가 더 견고하게 어려운 예제를 포함하고 있음을 시사한다.