[논문 리뷰] COKE: A Cognitive Knowledge Graph for Machine Theory of Mind

Jincenzi Wu, Zhuang Chen외 4명|arXiv (Cornell University)|2023. 05. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 인간의 마음 이론(ToM)을 45,000개 이상의 수작업으로 검증된 인지 체인으로 연결하는 첫 번째 인지 지식 그래프인 ℂ𝕆𝕂𝔼를 소개한다. ℂ𝕆𝕂𝔼를 기반으로 사전 훈련된 언어 모델을 미세조정하여 개발한 ℂ𝕆𝕂𝔼⁺는 자동 평가와 인간 평가 모두에서 강력한 베이스라인을 능가하며, 새로운 사회적 상황에 대한 우수한 ToM 추론 능력을 입증한다.

ABSTRACT

Theory of mind (ToM) refers to humans' ability to understand and infer the desires, beliefs, and intentions of others. The acquisition of ToM plays a key role in humans' social cognition and interpersonal relations. Though indispensable for social intelligence, ToM is still lacking for modern AI and NLP systems since they cannot access the human mental state and cognitive process beneath the training corpus. To empower AI systems with the ToM ability and narrow the gap between them and humans, in this paper, we propose COKE: the first cognitive knowledge graph for machine theory of mind. Specifically, COKE formalizes ToM as a collection of 45k+ manually verified cognitive chains that characterize human mental activities and subsequent behavioral/affective responses when facing specific social circumstances. In addition, we further generalize COKE using LLMs and build a powerful generation model COLM tailored for cognitive reasoning. Experimental results in both automatic and human evaluation demonstrate the high quality of COKE, the superior ToM ability of COLM, and its potential to significantly enhance social applications.

연구 동기 및 목표

• 인공지능 시스템을 위한 학습 가능한, 체계적인 지식 기반으로 인간의 마음 이론(ToM)을 형식화하기 위해.
• 현대 NLP 및 인공지능에서 표면적 텍스트 패tern에 의존함으로써 정서 상태 이해가 부족한 문제를 해결하기 위해.
• 사회적 맥락에서 인간의 정서 활동과 정서적/행동적 반응을 포괄하는 인지 지식 그래프(ℂ𝕆𝕂𝔼)를 구축하기 위해.
• 미래의 사회적 상황에 대해 인지 체인을 추론할 수 있는 인지 생성 모델, ℂ𝕆𝕂𝔼⁺를 개발하기 위해.
• 자동 평가와 인간 평가를 통해 ℂ𝕆𝕂𝔼의 품질과 ℂ𝕆𝕂𝔼⁺의 효과성을 검증하기 위해.

제안 방법

• InstructGPT를 활용해 인지 체인을 생성한 후, 심리학 전문가로 구성된 애너테이터가 수작업으로 검증함으로써 ℂ𝕆𝕂𝔼를 구축한다.
• 다섯 가지 노드 유형을 정의한다: 상황(사회적 맥락), 단서(유도 요인), 사고(정신 활동), 감정(정서 반응), 행동(행동 반응).
• 인지 체인을 긍정 또는 부정으로 레이블링하여 낙관적 또는 비관적인 사고 경향을 반영한다.
• ℂ𝕆𝕂𝔼 데이터셋으로 T5-base를 미세조정하여, 분포 외의 상황에 대해 완전한 인지 체인을 생성하는 파ip라인 모델인 ℂ𝕆𝕂𝔼⁺를 훈련한다.
• 인지 체인 생성을 네 가지 별개의 과제로 분해한다: 상황 → 사고, 단서 → 사고, 사고 → 감정, 사고 → 행동 예측.
• 자동 평가 지표와 인간 평가를 모두 활용하여 생성된 인지 체인의 품질과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 인지 지식 그래프를 체계적으로 구축하여 인간의 마음 이론을 정신적·행동적 반응의 체계적 체인으로 표현할 수 있는가?
• RQ2 이러한 지식 그래프로 미세조정된 사전 훈련된 언어 모델이 새로운 사회적 상황으로 일반화할 수 있는가?
• RQ3 인간이 검증한 인지 체인을 통합하면, 기존 모델 대비 AI가 생성한 정서 상태 추론의 품질과 일관성이 향상되는가?
• RQ4 인지 체인의 극성 레이블링(긍정/부정)이 모델이 다양한 인간의 사고 패턴을 반영하는 데 얼마나 기여하는가?
• RQ5 인지 생성 모델 ℂ𝕆𝕂𝔼⁺는 인간의 판단과 일치하는 타당성 있고 맥락 기반의 인지 체인을 생성할 수 있는가?

주요 결과

• ℂ𝕆𝕂𝔼는 다섯 가지 사회 주제에 걸쳐 62,328개의 노드와 45,369개의 수작업으로 검증된 인지 체인을 포함하며, 전문가 애너테이션을 통해 높은 품질을 확보하였다.
• ℂ𝕆𝕂𝔼⁺는 자동 평가와 인간 평가 모두에서 T5 및 InstructGPT와 같은 강력한 베이스라인을 능가하며, 네 가지 인지 생성 과제 전반에서 뛰어난 성능을 보였다.
• 인간 평가 결과, ℂ𝕆𝕂𝔼⁺는 기존 모델 대비 더 타당하고 일관성 있고 맥락에 부합하는 인지 체인을 생성함을 확인하였다.
• 모델는 새로운 사회적 상황에 대해 강력한 zero-shot 일반화 능력을 보이며, ToM 추론이 효과적으로 내재화되었음을 시사한다.
• 극성(긍정/부정) 레이블링의 통합은 모델이 사회적 추론에서 다양한 인간의 인지 경향을 반영하는 데 기여함을 입증하였다.
• 본 연구는 데이터 커버리지와 모델 확장성의 한계를 규명하였으며, 향후 연구는 주제 다양성 확장과 더 큰 백본 모델 탐색이 필요하다고 제안한다.