[논문 리뷰] Snowman: A Million-scale Chinese Commonsense Knowledge Graph Distilled from Foundation Model

Jiaan Wang, Jianfeng Qu외 5명|arXiv (Cornell University)|2023. 06. 17.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 지시 프롬프팅과 RLHF로 최적화된 기초 모델인 ChatGPT에서 유도된 백만 규모의 중국어 공감 지식 그래프인 Snowman을 소개한다. 소수의 프롬프팅과 자기 지시 필터링 전략을 활용하여 저품질의 부정적 공감 지식 문제를 해결함으로써 Snowman는 90.6%의 인간 수용률을 기록하며 중국어 CKG의 크기와 품질에서 새로운 최고 성능을 달성하였으며, 후행 생성 작업에서 기존 모델들을 능가한다.

ABSTRACT

Constructing commonsense knowledge graphs (CKGs) has attracted wide research attention due to its significant importance in cognitive intelligence. Nevertheless, existing CKGs are typically oriented to English, limiting the research in non-English languages. Meanwhile, the emergence of foundation models like ChatGPT and GPT-4 has shown promising intelligence with the help of reinforcement learning from human feedback. Under the background, in this paper, we utilize foundation models to construct a Chinese CKG, named Snowman. Specifically, we distill different types of commonsense head items from ChatGPT, and continue to use it to collect tail items with respect to the head items and pre-defined relations. Based on the preliminary analysis, we find the negative commonsense knowledge distilled by ChatGPT achieves lower human acceptance compared to other knowledge. Therefore, we design a simple yet effective self-instruct filtering strategy to filter out invalid negative commonsense. Overall, the constructed Snowman covers more than ten million Chinese commonsense triples, making it the largest Chinese CKG. Moreover, human studies show the acceptance of Snowman achieves 90.6\%, indicating the high-quality triples distilled by the cutting-edge foundation model. We also conduct experiments on commonsense knowledge models to show the usability and effectiveness of our Snowman.

연구 동기 및 목표

• 고품질의 대규모 중국어 공감 지식 그래프(CKG) 부족 문제를 고급 기초 모델을 활용하여 해결하고자 한다.
• 기존 CKG가 주로 영어 중심이어서 번역 시 문화적·언어적 불일치 문제가 발생하는 점을 해결하고자 한다.
• 특히 부정적 지식에 대한 품질 향상을 위해 타겟팅된 필터링 전략을 설계하여 유도된 공감 지식의 품질을 향상시키고자 한다.
• 지시 프롬프팅과 RLHF로 최적화된 기초 모델인 ChatGPT와 같은 모델들이 고품질의 구조화된 공감 지식을 효과적으로 유도할 수 있음을 입증하고자 한다.
• 저자원 언어에서 고품질 CKG를 구축하기 위한 확장 가능하고 최소 프rotocol 기반의 프레임워크를 구축하고자 한다.

제안 방법

• 소수의 프롬프팅을 사용하여 ChatGPT에서 다양한 헤드 항목(예: 자발적, 비자발적, 상태)을 추출한다.
• xWant, xNeed, xReact, xEffect, xAttr, xIntent, HinderedBy 등의 정의된 관계를 사용해 각 헤드 항목에 대해 테일 항목을 생성한다.
• 저품질의 부정적 공감 삼항관계, 특히 방해되거나 막힌 상태를 포함한 항목을 식별하고 제거하기 위해 자기 지시 필터링 전략을 적용한다.
• ChatGPT로부터 1,100만 개 이상의 원시 삼항관계를 수집하고, 이를 필터링하여 인간 수용률을 향상시킨다.
• Snowman 삼항관계를 기반으로 COMET 기반의 공감 생성 모델을 훈련시켜 사용성과 효과성을 평가한다.
• 3명의 평가자와 함께 인간 평가를 수행하여 무작위로 샘플된 삼항관계에 대한 인간 수용률을 계산한다.

실험 결과

연구 질문

• RQ1 지시 프롬프팅과 RLHF로 최적화된 기초 모델인 ChatGPT는 대규모로 고품질의 구조화된 중국어 공감 지식을 생성할 수 있는가?
• RQ2 왜 부정적 관계(예: 'HinderedBy')는 긍정적 관계에 비해 인간 수용률이 현저히 낮은가?
• RQ3 간단한 자기 지시 필터링 전략이 유도된 부정적 공감 삼항관계의 품질을 효과적으로 향상시킬 수 있는가?
• RQ4 Snowman의 품질과 규모는 기존의 중국어 CKG인 CN-AutoMIC과 ATOMIC-zh와 비교해 인간 수용률과 후행 생성 성능 측면에서 어떻게 다른가?
• RQ5 Snowman는 다른 CKG에 비해 공감 생성 모델의 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• Snowman는 1,000만 개 이상의 중국어 공감 삼항관계를 포함하고 있어 지금까지 가장 큰 중국어 CKG이다.
• Snowman의 원시 인간 수용률은 86.8%로, CN-AutoMIC의 47.6%와 ATOMIC-10X의 78.5%보다 뚜렷하게 높다.
• 자기 지시 필터링 전략을 적용한 후 Snowman의 인간 수용률은 90.6%로 상위 수준에 도달했으며, 모든 중국어 CKG 중에서 가장 높다.
• 'HinderedBy' 관계는 초기에 가장 낮은 원시 수용률(65.7%)을 보였지만, 필터링 후 92.7%로 상승하여 품질 복원이 효과적으로 이루어졌음을 시사한다.
• Snowman의 고품질 삼항관계를 기반으로 미세조정된 COMET 모델은 81.8%의 인간 수용률을 기록하여, ATOMIC-zh(31.2%)와 CN-AutoMIC(61.3%)를 훨씬 뛰어넘는 성능을 보였다.
• ChatGPT를 사용한 구축 프로토콜는 CN-AutoMIC의 다단계 필터링보다 더 간결하고 효과적이며, 저자원 및 다국어 CKG 구축에 광범위하게 적용 가능함을 시사한다.