[논문 리뷰] Predicting Human Similarity Judgments Using Large Language Models

Raja Marjieh, Ilia Sucholutsky외 3명|arXiv (Cornell University)|2022. 02. 09.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 텍스트 기반 설명과 대규모 언어 모델을 사용하여 인간의 유사도 판단을 예측하는 확장성 있고 도메인 일반화된 방법을 제안한다. 이는 쌍별 비교가 필요한 데이터 요구량을 이차적 스케일링에서 선형 스케일링으로 줄인다. BERT와 ConceptNet NumberBatch 임베딩을 활용하여 인과적 기반의 기존 CNN 기반 접근법을 능가하며, 공동으로 수집된 설명 자료를 바탕으로 인간의 유사도 판단을 효과적으로 포착하는 언어 모델의 의미론적 표현이 있음을 입증한다.

ABSTRACT

Similarity judgments provide a well-established method for accessing mental representations, with applications in psychology, neuroscience and machine learning. However, collecting similarity judgments can be prohibitively expensive for naturalistic datasets as the number of comparisons grows quadratically in the number of stimuli. One way to tackle this problem is to construct approximation procedures that rely on more accessible proxies for predicting similarity. Here we leverage recent advances in language models and online recruitment, proposing an efficient domain-general procedure for predicting human similarity judgments based on text descriptions. Intuitively, similar stimuli are likely to evoke similar descriptions, allowing us to use description similarity to predict pairwise similarity judgments. Crucially, the number of descriptions required grows only linearly with the number of stimuli, drastically reducing the amount of data required. We test this procedure on six datasets of naturalistic images and show that our models outperform previous approaches based on visual information.

연구 동기 및 목표

• 쌍별 비교를 필요로 하지 않고도 확장성 있고 도메인 일반화된 인간의 유사도 판단 예측 방법을 개발하는 것.
• 자극 수에 따라 이차적으로 증가하는 유사도 행렬 수집 부담을 줄이는 것.
• 언어적 설명과 사전 학습된 언어 모델이 시각적 모델과 동일한 정확도로 인간의 유사도 판단을 예측할 수 있는지 테스트하는 것.
• 언어 모델 기반 예측기의 성능을 이전의 CNN 기반 접근법과 비교하는 것.
• BERT 표현과 인간의 유사도 정서적 표현 간의 일치 정도를 탐색하는 것.

제안 방법

• 자극물에 대한 언어적 기술자(의미적 레이블 또는 자유형 텍스트 기술)를 수집하거나 사전에 확보된 자료를 사용한다.
• 사전 학습된 언어 모델인 ConceptNet NumberBatch(CNNB)와 BERT를 적용하여 텍스트 기술을 벡터 표현으로 임베딩한다.
• 임bed된 기술 벡터 간의 코사인 유사도를 사용해 쌍별 유사도를 계산한다.
• CNNB(개념 수준)와 BERT(세밀한 텍스트 수준) 표현을 결합하여 성능 향상을 위한 통합 예측기로 조합한다.
• 예측된 유사도 행렬을 시각화하고 해석하기 위해 다차원 척도법(MDS)을 사용한다.
• 이전 연구(Peterson et al., 2018)에서 제시된 CNN 기반 기준 모델과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기존의 쌍별 수집 방식에 비해 텍스트 기반 설명과 사전 학습된 언어 모델이 인간의 유사도 판단을 더 효율적으로 예측할 수 있는가?
• RQ2 BERT와 ConceptNet NumberBatch 임베딩은 CNN의 시각적 표현에 비해 인간의 유사도 판단을 얼마나 잘 예측하는가?
• RQ3 언어 모델 기반 예측이 자연주의적 이미지 데이터셋에서 해석 가능한 의미론적 구조를 얼마나 잘 포착하는가?
• RQ4 인지적 유사도(CNN)와 의미론적 유사도(언어 모델) 사이에 격차가 존재하는가? 그리고 이 격차는 인간의 인지에 대해 무엇을 드러내는가?
• RQ5 개념 수준과 세밀한 텍스트 표현을 함께 사용하면 예측 정확도가 향상되는가?

주요 결과

• 이러한 방법은 쌍별 유사도 판단 대신 텍스트 기반 설명을 사용함으로써 데이터 요구량을 이차적 스케일링에서 선형 스케일링으로 줄였다.
• BERT와 CNNB를 조합한 모델은 시험한 여섯 개의 이미지 데이터셋 전반에서 개별 모델과 이전의 CNN 기반 접근법을 모두 능가하는 성능을 보였다.
• 예측된 유사도 행렬의 MDS 시각화 결과에서 자연적인 범주, 기능적 범주, 색상 기울기 등 이해할 수 있는 의미론적 조직이 드러났다.
• CNN과 CNNB 예측 간 격차가 관찰되어, 낯선 물체에 대해서는 인간이 저수준의 인지적 특징에 더 의존할 수 있고, 익숙한 물체에 대해서는 의미론적 특징에 더 의존할 수 있음을 시사했다.
• 결과는 인간의 유사도 판단이 의미론적 이해에 기반하며, BERT와 같은 언어 모델이 이러한 구조를 효과적으로 포착할 수 있다는 가설을 지지한다.
• 이 방법은 효율적인 유사도 행렬 예측을 가능하게 하여 더 큰, 더 자연스러운 데이터셋으로의 유사도 연구 확장을 실현 가능하게 한다.