[논문 리뷰] Semantic features of object concepts generated with GPT-3

Hannes Hansen, Martin N. Hebart|arXiv (Cornell University)|2022. 02. 08.

Topic Modeling인용 수 12

한 줄 요약

이 연구는 GPT-3가 1,854개의 구체적 물체 개념에 대해 고품질의 의미적 특징을 자동으로 생성할 수 있음을 입증하며, 인간이 정의한 자료와 비슷한 수준의 개념 유사성, 관련성, 범주 소속을 예측하는 데에 사용 가능한 특징 집합을 생성한다. 생성된 특징들은 인간 지식과 강한 일치를 보이며, 인지과학 연구를 위한 확장 가능하고 해석 가능한 특징 기준을 제공한다.

ABSTRACT

Semantic features have been playing a central role in investigating the nature of our conceptual representations. Yet the enormous time and effort required to empirically sample and norm features from human raters has restricted their use to a limited set of manually curated concepts. Given recent promising developments with transformer-based language models, here we asked whether it was possible to use such models to automatically generate meaningful lists of properties for arbitrary object concepts and whether these models would produce features similar to those found in humans. To this end, we probed a GPT-3 model to generate semantic features for 1,854 objects and compared automatically-generated features to existing human feature norms. GPT-3 generated many more features than humans, yet showed a similar distribution in the types of generated features. Generated feature norms rivaled human norms in predicting similarity, relatedness, and category membership, while variance partitioning demonstrated that these predictions were driven by similar variance in humans and GPT-3. Together, these results highlight the potential of large language models to capture important facets of human knowledge and yield a new approach for automatically generating interpretable feature sets, thus drastically expanding the potential use of semantic features in psychological and linguistic studies.

연구 동기 및 목표

• 대규모 언어 모델인 GPT-3가 임의의 물체 개념에 대해 의미 있는 의미적 특징을 자동으로 생성할 수 있는지 조사하기 위해.
• 기존에 확립된 인간이 정의한 의미적 특징 기준과 비교하여 GPT-3가 생성한 특징의 품질과 구조를 평가하기 위해.
• GPT-3가 생성한 특징이 인간이 평가한 개념 유사성, 관련성, 범주 소속을 인간 기준과 비슷한 정확도로 예측할 수 있는지 평가하기 위해.
• GPT-3 특징이 인간 개념 지식의 기초 정보와 유사한 정보를 기반으로 하는지 여부를 규명하기 위해.
• 심리학적 및 언어학적 연구를 위한 해석 가능한 의미적 특징 기준을 광범위한 개념 범위에서 자동으로 생성할 수 있는 확장 가능한 방법을 수립하기 위해.

제안 방법

• GPT-3는 1,854개의 구체적 물체 개념에 대해 세 개의 피셔-샘플 예시만을 사용한 제로샷 프롬프팅 전략을 통해 의미적 특징을 생성하도록 유도되었다.
• 생성된 특징은 중복 제거 및 저품질 항목 제거를 위한 사전 처리 및 필터링을 거쳐, 1,854개의 개념에 걸쳐 11,683개의 고유한 특징을 포함하는 정제된 특징 기준으로 압축되었다.
• 의미적 유사성과 관련성은 개념 간 특징 겹침을 기반으로 계산되었으며, 인간이 평가한 유사성 평가 결과(THINGS 데이터셋)와 비교하여 예측 성능을 평가하였다.
• 인간 유사성 평가 결과를 설명하는 데 있어 GPT-3, McRae, CSLB 기준의 공통 및 고유 기여도를 평가하기 위해 분산 분할 기법을 적용하였다.
• GPT-3와 인간 기준 간의 특징 분포 및 레이블 빈도를 비교하여 구조적 유사성을 평가하였다.
• 기존 인간 기준(McRae 및 CSLB)과 THINGS 데이터셋의 유사성 평가 결과를 활용하여 방법의 타당성을 검증하였으며, 직접 비교가 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 GPT-3는 임의의 물체 개념에 대해 인간이 생성한 기준과 정량적·정성적으로 비교 가능한 의미적 특징을 생성할 수 있는가?
• RQ2 GPT-3가 생성한 특징은 인간 기준과 비교하여 인간이 평가한 개념 유사성과 관련성을 얼마나 잘 예측하는가?
• RQ3 GPT-3 특징이 인간 개념 지식의 기초 정보를 어느 정도 공유하고 있는가?
• RQ4 GPT-3가 생성한 특징의 분포 및 유형은 인간이 생성한 특징과 어떻게 비교되는가?
• RQ5 GPT-3는 광범위한 개념 범위에서 해석 가능한 의미적 특징 기준을 자동으로 생성할 수 있는 확장 가능한 도구로 사용될 수 있는가?

주요 결과

• GPT-3는 1,854개의 개념에 대해 총 189,126개의 특징을 생성하였으며, 필터링 후 124,569개로 줄어들었고, 평균 67.35개의 특징을 각 개념당 가지게 되었다—이는 인간 기준(McRae: 13.42, CSLB: 35.52)보다 유의미하게 높은 수준이다.
• GPT-3 출력물의 특징 유형 분포(예: 물리적 특성, 기능, 범주 등)는 인간 기준과 유사하여 구조적 유사성을 보였다.
• GPT-3가 생성한 특징은 THINGS 데이터셋의 인간 유사성 평가 결과를 McRae 및 CSLB 인간 기준과 유사한 성능으로 예측하였으며, 높은 피어슨 상관계수를 통해 이를 입증하였다.
• 분산 분할 분석을 통해 GPT-3와 인간 기준 간 설명 분산의 강한 겹침이 확인되었으며, GPT-3는 McRae 기준이 설명하는 대부분의 분산을 포함하고 있었고, CSLB와 유사한 비율의 분산을 설명하였다.
• 필터링된 GPT-3 특징(11,683개 고유 특징)은 전체 특징 집합과 거의 동일한 예측 성능을 보였으며, 이는 방법의 강건성과 효율성을 시사한다.
• 결과는 GPT-3가 인간 개념 지식의 핵심 요소, 특히 유사성 판단에 기여하는 공통 정보를 잘 포착하고 있음을 시사한다.