[논문 리뷰] An Enhanced Knowledge Injection Model for Commonsense Generation

Zhihao Fan, Yeyun Gong외 7명|arXiv (Cornell University)|2020. 12. 01.

Topic Modeling참고 문헌 40인용 수 7

한 줄 요약

이 논문은 외부 텍스트에서 검색한 프로토타입을 보다 효과적으로 활용하기 위해 척도 모듈과 프로토타입 위치 지시자(Indicator)를 통합한 EKI-BART를 제안한다. 이는 BART를 개선한 지식 주입 모델로, CommonGen 벤치마크에서 노이즈를 감소시키고 시나리오의 일관성을 향상시켜 기존 BART 기반 모델과 검색 전용 모델을 모두 능가하는 생성 품질을 달성한다.

ABSTRACT

Commonsense generation aims at generating plausible everyday scenario description based on a set of provided concepts. Digging the relationship of concepts from scratch is non-trivial, therefore, we retrieve prototypes from external knowledge to assist the understanding of the scenario for better description generation. We integrate two additional modules, namely position indicator and scaling module, into the pretrained encoder-decoder model for prototype modeling to enhance the knowledge injection procedure. We conduct experiment on CommonGen benchmark, and experimental results show that our method significantly improves the performance on all the metrics.

연구 동기 및 목표

• 주어진 개념에서 공리적 일관성을 갖춘 텍스트를 생성하는 데 있어, 표준 언어 모델이 종종 비합리적이거나 의미적으로 일관성 없는 문장을 생성하는 문제를 해결하기 위해.
• 외부 텍스트 코퍼스에서 프로토타입을 검색하고 편집하여 입력 개념과 가능한 시나리오 기술 간의 의미적 격차를 해소하기 위해.
• 프로토타입 토큰에 대한 미세한 제어를 위해 척도 모듈과 위치 지시자를 도입하여 사전 학습된 인코더-디코더 모델의 지식 주입을 향상시키기 위해.
• 도메인 내 및 도메인 외의 순수 텍스트 코퍼스가 공리적 추론 생성을 위한 효과적인 지식 소스가 될 수 있음을 입증하기 위해.

제안 방법

• 입력 개념에 기반해 외부 텍스트 코퍼스에서 관련 프로토타입을 검색하고, 이를 시나리오 지식으로 활용하여 문장 생성을 안내한다.
• 프로토타입 내 토큰에 대해 학습 가능한 가중치를 할당하는 척도 모듈을 도입하여 노이즈가 많거나 관련성이 없는 토큰을 억제한다.
• 개념 단어가 프로토타입 내에서 어떤 상대적 위치에 있는지를 인코딩하기 위해 프로토타입 위치 지시자를 활용하여, 모델이 의미적으로 관련 있는 맥락에 집중할 수 있도록 돕는다.
• 검색된 프로토타입과 두 개의 보조 모듈을 사용하여 사전 학습된 BART 인코더-디코더 모델을 미세조정하여 일관성 있고 공리적 일관성을 갖춘 문장을 생성한다.
• 모델이 검색한 프로토타입을 편집하여 모든 필수 입력 개념을 포함하면서도 유창성과 사실의 타당성을 유지하도록 하는 '검색-편집' 프레임워크를 사용한다.
• 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 생성 품질과 개념 커버리지 모두를 최적화한다.

실험 결과

연구 질문

• RQ1 순수 텍스트에서 프로토타입을 검색하고 편집하는 것이 사전 학습된 언어 모델의 표준 미세조정을 넘어서 공리적 추론 생성을 향상시킬 수 있는가?
• RQ2 척도 모듈과 위치 지시자가 모델이 프로토타입 지식을 활용하고 노이즈를 줄이는 데 어떻게 기여하는가?
• RQ3 지식 소스로 도메인 외 텍스트 코퍼스를 사용할 경우에도 프로토타입 주입으로 인한 성능 향상이 유지되는가?
• RQ4 모델이 생성된 문장에서 모든 입력 개념을 얼마나 잘 유지하면서도 자연스럽고 사실적으로 보존하는가?

주요 결과

• EKI-BART는 CommonGen 벤치마크에서 자동 평가 지표(BLEU, ROUGE, FID) 전반에 걸쳐 기준 BART 및 검색 전용 모델보다 유의미한 향상을 이룬다.
• 도메인 내 데이터로 미세조정한 BART와 비교해 생성된 문장에서 누락된 입력 개념 수를 300건 이상 감소시켰다.
• 척도 모듈은 프로토타입 노이즈를 효과적으로 억제하여 BART 단독 사용 대비 더 정확하고 사실적인 문장 생성을 가능하게 했다.
• 프로토타입 위치 지시자는 모델이 프로토타입 내 관련 맥락에 집중하는 능력을 향상시켜 시나리오의 일관성을 강화했다.
• 지식 소스로 도메인 외 순수 텍스트를 사용할 경우에도 모델이 잘 작동하여 강건성과 일반화 능력을 입증했다.
• 제거 실험(ablation study) 결과, 척도 모듈과 위치 지시자가 성능 향상에 독립적이고 유의미하게 기여하는 것으로 확인되었다.