[논문 리뷰] A Systematic Investigation of Commonsense Knowledge in Large Language Models

Xiang Lorraine Li, Adhiguna Kuncoro외 4명|arXiv (Cornell University)|2021. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 표면적 신호와 평가 오류 요소를 통제하면서, 대규모 언어 모델(최대 280B 파라미터)을 일반 지식 벤치마크에서 제로샷 및 희소샷 평가를 통해 철저히 평가한다. 결과적으로 강력한 성능를 보이지만 여전히 인간 수준의 일반 지식 이해에 못 미치며, 모델 크기를 늘리거나 희소샷 프롬프팅을 사용하더라도 태스크 특화 지도 없이 성과 격차를 메울 수 없다는 것을 밝혀낸다.

ABSTRACT

Language models (LMs) trained on large amounts of data have shown impressive performance on many NLP tasks under the zero-shot and few-shot setup. Here we aim to better understand the extent to which such models learn commonsense knowledge -- a critical component of many NLP applications. We conduct a systematic and rigorous zero-shot and few-shot commonsense evaluation of large pre-trained LMs, where we: (i) carefully control for the LMs' ability to exploit potential surface cues and annotation artefacts, and (ii) account for variations in performance that arise from factors that are not related to commonsense knowledge. Our findings highlight the limitations of pre-trained LMs in acquiring commonsense knowledge without task-specific supervision; furthermore, using larger models or few-shot evaluation are insufficient to achieve human-level commonsense performance.

연구 동기 및 목표

• 태스크 특화 미세조정 없이 대규모 언어 모델이 일반 지식을 얼마나 잘 습득하는지 철저히 평가하기 위해.
• 모델 성능이 실제 일반 지식 추론에서 비롯되는지, 표면적 신호나 애너테이션 오류에서 비롯되는지의 정도를 분리하기 위해.
• 프롬프트 형식과 스코어 함수와 같은 평가 설계 선택 사항이 성능 변동에 미치는 영향을 평가하기 위해.
• 모델 크기를 늘리거나 희소샷 인라인 학습을 사용할 경우 일반 지식 추론이 향상되는지 확인하기 위해.
• 대규모 언어 모델이 태스크 특화 지도 없이도 즉시 일반 지식 추론 능력을 갖춘다는 가정을 도전하기 위해.

제안 방법

• 연구는 제로샷 및 희소샷 설정에서 Gopher 언어 모델 패밀리(최대 280B 파라미터)를 네 가지 일반 지식 벤치마크에서 평가한다.
• 정답만을 출력하는 엄격한 베이스라인을 사용하여, 추론과 무관한 통계적 추측에 의한 성능를 통제한다.
• 다양한 프롬프트 형식과 스코어 함수를 통해 평가 설계에 대한 강건성을 평가한다.
• 6개의 모델 크기(125M에서 280B 파라미터까지)에 걸쳐 성능 추세를 분석함으로써 스케일링 행동을 분석한다.
• 모든 미세조정 없이 평가를 수행하여 관측된 성능가 pre-trained 지식 습득을 반영함을 보장한다.
• 통계적 제어를 적용하여 데이터 내 임의의 상관관계에서 일반 지식 지능의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 실제로 일반 지식 지능을 이해하는가, 아니면 데이터의 표면적 신호에 의존하는가?
• RQ2 프롬프트 형식과 스코어 함수와 같은 평가 설계 선택 사항이 일반 지식 추론과 무관하게 모델 성능에 영향을 미치는가?
• RQ3 모델 크기를 늘리거나 희소샷 인라인 학습을 사용할 경우 제로샷 설정에서 일반 지식 추론이 상당히 향상되는가?
• RQ4 현재의 대규모 언어 모델이 태스크 특화 지도 없이 일반 지식 벤치마크에서 인간 수준의 성능를 달성할 수 있는가?
• RQ5 명시적 일반 지식 지도 없이 인간 수준의 성능에 도달하기 위해 필요한 모델 규모는 얼마인가?

주요 결과

• 정답만 출력하는 베이스라인이 일부 벤치마크에서 많은 모델보다 높은 성능를 보이며, 표면적 통계 패턴이 성능에 상당한 기여를 한다는 것을 시사한다.
• 280B 파라미터를 가진 모델조차도 제로샷 설정에서 네 개의 벤치마크 중 세 개에서 인간 수준의 성능를 달성하지 못한다.
• 모델 크기를 늘리는 것만으로는 인간과의 성능 격차를 메울 수 없으며, 인간 수준의 성능에 도달하기 위해서는 100T에서 10^18 파라미터가 필요하다. 이는 현재 기술로는 매우 현실성이 떨어진다.
• 희소샷 프롬프팅은 Social IQa에서만 성능 향상을 보이며, 다른 벤치마크에서는 최소한의 성능 향상만을 보이며, 최신 모델과의 격차를 메우지 못한다.
• 프롬프트 형식과 스코어 함수와 같은 평가 설계 선택 사항은 성능 변동을 최대 19%까지 유도할 수 있어, 일반 지식 외 요소에 매우 민감함을 시사한다.
• 결과적으로 현재의 대규모 언어 모델은 명시적 지도, 다중 모odal 기반 지도, 또는 기타 인덕티브 비스를 제공하지 않는 한 인간 수준의 일반 지식 지능을 신뢰성 있게 습득할 수 없다는 것을 시사한다.