[논문 리뷰] Unpacking Large Language Models with Conceptual Consistency

Pritish Kumar Sahu, Michael Cogswell외 2명|arXiv (Cornell University)|2022. 09. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 추론에 관련된 개념에 대해 일관되고 배경 지식에 부합하는 이해를 갖고 있는지 평가하기 위한 개념적 일관성(conceptual consistency)을 측정 기준으로 제안한다. ConceptNet에서 개념적으로 관련된 지식을 추출하고, majority-vote 프ом프팅 전략을 통해 모델의 응답을 측정함으로써, 저자들은 모델 규모가 증가할수록 개념적 일관성이 증가하지만 여전히 중간 수준이며 관계와 개념에 따라 크게 다름을 발견한다. 이는 대규모 모델입니다라도 개념적 이해의 일반화가 제한되어 있음을 시사한다.

ABSTRACT

If a Large Language Model (LLM) answers "yes" to the question "Are mountains tall?" then does it know what a mountain is? Can you rely on it responding correctly or incorrectly to other questions about mountains? The success of Large Language Models (LLMs) indicates they are increasingly able to answer queries like these accurately, but that ability does not necessarily imply a general understanding of concepts relevant to the anchor query. We propose conceptual consistency to measure a LLM's understanding of relevant concepts. This novel metric measures how well a model can be characterized by finding out how consistent its responses to queries about conceptually relevant background knowledge are. To compute it we extract background knowledge by traversing paths between concepts in a knowledge base and then try to predict the model's response to the anchor query from the background knowledge. We investigate the performance of current LLMs in a commonsense reasoning setting using the CSQA dataset and the ConceptNet knowledge base. While conceptual consistency, like other metrics, does increase with the scale of the LLM used, we find that popular models do not necessarily have high conceptual consistency. Our analysis also shows significant variation in conceptual consistency across different kinds of relations, concepts, and prompts. This serves as a step toward building models that humans can apply a theory of mind to, and thus interact with intuitively.

연구 동기 및 목표

• LLMs의 추론 행동이 그들의 기초 개념 지식과 일관된지 측정할 수 있는 기준을 개발하는 것.
• 대규모 언어 모델이 패턴 매칭을 넘어서 일반화된 개념적 이해를 하는지 조사하는 것, 특히 공통 지식 추론에서의 경우.
• 질문-답변 작업에서의 모델 성능이 개념적으로 관련된 배경 사실에 대한 지식과 얼마나 관련이 있는지 평가하는 것.
• 다양한 관계, 개념, 모델 규모 간 개념적 일관성의 체계적 변동을 특정하는 것.

제안 방법

• CSQA 데이터셋에서 각 질문과 관련된 개념 간 경로를 탐색하여 ConceptNet에서 개념적으로 관련된 배경 지식을 추출한다.
• 예: 'is a'(소속), 'desires'(욕구), 'causes'(원인)와 같은 개념적으로 관련된 관계를 기반으로 배경 지식 질문을 구성한다.
• 다양한 프롬프트 변형에 대해 majority-vote 스타일의 zero-shot 프롬프팅 절차를 적용하여 배경 지식 및 앵커 질문에 대한 모델 응답을 안정적으로 측정한다.
• 배경 지식 성능과 앵커 작업에서의 정답률 간 상관관계를 계산하여 개념적 일관성을 산정한다.
• 언어적 변동성 편향을 줄이고 모델 응답 측정의 신뢰도를 향상시키기 위해 majority-vote 프롬프팅 전략을 적용한다.
• OPT, GPT, T0 세 가지 LLM 패밀리의 모델을 66B 파라미터 규모까지 분석하여 개념적 일관성의 추세를 평가한다.

실험 결과

연구 질문

• RQ1 모델의 공통 지식 추론 작업에서의 성능이 관련 배경 개념에 대한 기초 지식을 얼마나 반영하는가?
• RQ2 배경 지식과 추론 성능 간의 일치도로 정의되는 개념적 일관성은 다양한 관계와 개념 간에 어떻게 달라지는가?
• RQ3 모델 규모 증가에 따라 개념적 일관성이 증가하는가? 만약 그렇다면, 순수 지식 또는 추론 정확도의 증가와 비교해보면 어떻게 되는가?
• RQ4 프롬프팅 전략, 특히 majority-vote 프롬프팅이 배경 지식 및 개념적 일관성 측정에 어떤 영향을 미치는가?
• RQ5 특정 관계나 개념에서는 대규모 모델이 추론 작업에서 높은 성능을 내지만 개념적 일관성이 낮게 나타나는 경우가 있는가?

주요 결과

• 모델 규모 증가에 따라 개념적 일관성이 증가하지만 여전히 중간 수준이므로, 더 큰 모델이라도 배경 지식와 추론 성능 간 일치도가 높아지지 않는다는 것을 시사한다.
• 배경 사실 지식은 규모 증가에 따라 증가하지만, 추론 정확도나 개념적 일관성 증가 속도보다 느리게 증가하므로, LLMs 내에서 스킬의 계층적 구조가 존재함을 시사한다.
• 다양한 관계 간 개념적 일관성에 뚜렷한 차이가 관찰된다: 예를 들어, 지식은 향상되지만 'desires'(욕구)에 대해서는 더 큰 모델이 일관성 있게 되지는 않지만, 'causes'(원인)에 대해서는 일관성이 향상된다.
• 작은 모델은 종종 일관성 없는 행동을 보인다: 지식은 있지만 일관성 없거나, 일관성은 있지만 지식이 없는 경우가 특히 'desires'와 'causes'와 같은 관계에서 두드러진다.
• 모델 패밀리 간 성능에 차이가 있다: OPT 모델는 GPT 및 T0에 비해 개념적 일관성의 스케일링 추세가 덜 뚜렷하며, 일부 작은 모델은 'Similar To'(유사한)와 같은 특정 관계에서 더 큰 모델보다 뛰어난 성능을 보인다.
• 프롬프팅 편향(예: 작은 OPT 모델에서의 'yes' 편향)은 탐지 가능하며, majority-vote 프롬프팅 전략을 통해 이를 완화할 수 있어 측정의 신뢰도가 향상된다.