[논문 리뷰] Symbolic Knowledge Distillation: from General Language Models to Commonsense Models

Peter West, Chandra Bhagavatula외 7명|arXiv (Cornell University)|2021. 10. 14.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 GPT-3를 사용하여 인간이 작성한 지식 없이 고품질의 일반지식 지식 그래프(Atomic${}^{\text{10x}}$)를 자동으로 생성하고, 압축된 신경형 일반지식 모델(Comet${}^{\text{dis}}_{\text{til}}$)을 훈련하는 프레임워크인 상징적 지식 정련(Symbolic Knowledge Distillation)을 소개한다. 크기가 100배 작음에도 불구하고, 학생 모델은 인간이 작성한 Atomic${}^{20}$ 코퍼스와 그 스승인 GPT-3보다 규모, 품질, 다양성 측면에서 일반지식 추론에서 뛰어난 성능을 보였다.

ABSTRACT

The common practice for training commonsense models has gone from-human-to-corpus-to-machine: humans author commonsense knowledge graphs in order to train commonsense models. In this work, we investigate an alternative, from-machine-to-corpus-to-machine: general language models author these commonsense knowledge graphs to train commonsense models. Our study leads to a new framework, Symbolic Knowledge Distillation. As with prior art in Knowledge Distillation (Hinton et al., 2015), our approach uses larger models to teach smaller models. A key difference is that we distill knowledge symbolically-as text-in addition to the neural model. We also distill only one aspect-the commonsense of a general language model teacher, allowing the student to be a different type, a commonsense model. Altogether, we show that careful prompt engineering and a separately trained critic model allow us to selectively distill high-quality causal commonsense from GPT-3, a general language model. Empirical results demonstrate that, for the first time, a human-authored commonsense knowledge graph is surpassed by our automatically distilled variant in all three criteria: quantity, quality, and diversity. In addition, it results in a neural commonsense model that surpasses the teacher model's commonsense capabilities despite its 100x smaller size. We apply this to the ATOMIC resource, and share our new symbolic knowledge graph and commonsense models.

연구 동기 및 목표

• 인간이 작성한 일반지식 지식 그래프가 아닌 기계-코퍼스-기계 파이프라인을 개발하기 위해.
• 대규모 언어 모델을 스승으로 활용하여 일반지식의 품질과 확장성을 향상시키기 위해.
• 일반 언어 모델에서 특정한 원인-결과 관계의 일반지식만을 특화된 압축된 신경 모델로 정련하기 위해.
• 비평가 모델을 사용하여 자동 생성된 상징적 지식의 품질을 평가하고 향상시키기 위해.
• 기계가 생성한 지식이 규모, 다양성, 정확성 측면에서 인간이 구축한 지식을 초월할 수 있음을 입증하기 위해.

제안 방법

• 원인 추론에 집중된 정교하게 설계된 프롬프트를 사용해 GPT-3를 스승 모델로 활용하여 상징적 일반지식 삼항관계를 생성한다.
• GPT-3의 텍스트 출력에서 인간의 가독성과 해석 가능성도 유지하면서 상징적 지식 그래프인 Atomic${}^{\text{10x}}$를 구성한다.
• 생성된 삼항관계의 품질을 평가하기 위해 별도의 비평가 모델을 구축하여 고품질 지식의 선택적 정련을 가능하게 한다.
• 신경형 학생 모델(Comet${}^{\text{dis}}_{\text{til}}$) 뿐 아니라 상징적 지식 그래프로도 지식을 정련하여 双중 전이를 가능하게 한다.
• 인간 레이블 데이터를 사용해 비평가 모델을 피지컬 트레이닝하여 품질 필터링의 신뢰성과 정밀도를 향상시킨다.
• 정련된 상징적 코퍼스를 기반으로 압축된 일반지식 모델(Comet${}^{\text{dis}}_{\text{til}}$)을 훈련시켜 계산 자원을 줄이고 정확도를 높인다.

실험 결과

연구 질문

• RQ1 GPT-3와 같은 일반 언어 모델이 원인 추론에 초점을 맞춘 상징적 지식 그래프로 정련하기 위한 고품질 스승 모델로 기능할 수 있는가?
• RQ2 기계가 생성한 지식으로 훈련된 신경형 학생 모델이 인간이 작성한 지식으로 훈련된 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ3 비평가 모델을 포함함으로써 직접 생성하는 것과 비교해 정련된 상징적 지식의 품질이 뚜렷이 향상되는가?
• RQ4 기계가 생성한 일반지식이 규모, 다양성, 정확성 측면에서 인간이 작성한 지식을 초월할 수 있는가?
• RQ5 일반 언어 모델에서 특정한 요소(원인-결과 관계)만을 다른 유형의 모델(일반지식 모델)로 정련하는 것이 가능한가?

주요 결과

• 기계가 생성한 지식 그래프인 Atomic${}^{\text{10x}}$는 일곱 가지 일반지식 추론 유형 전반에서 양, 품질, 다양성 측면에서 인간이 작성한 Atomic${}^{20}$을 모두 뛰어넘는다.
• GPT-3보다 크기가 100배 작은 학생 모델인 Comet${}^{\text{dis}}_{\text{til}}$는 스승 모델인 GPT-3보다도 더 높은 일반지식 추론 정확도를 달성한다.
• 비평가 모델은 정련된 지식의 품질을 뚜렷이 향상시켜 인간이 작성한 기준을 초월하는 고정밀도 상징적 삼항관계의 생성을 가능하게 한다.
• 100개의 생성 예시를 수동 점검한 결과, 성인 콘텐츠가 단 한 건뿐이었으며, 집중적이고 제약된 프롬프트로 인해 유해하거나 부적절한 출력의 위험이 낮다.
• 이 프레임워크는 인간이 작성자가 아니라 평가자로 참여하는 인간-기계 협업 파이프라인을 가능하게 하여 비용을 줄이고 확장성을 높인다.
• 상징적 지식 정련 프레임워크는 기계가 생성한 지식이 일반지식 추론 과제에서 인간이 구축한 지식보다 더 포괄적이고 정확할 수 있음을 입증한다.