[논문 리뷰] Knowledge Injection into Dialogue Generation via Language Models

Yi-Lin Tuan, Wei Wei외 1명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 48인용 수 7

한 줄 요약

이 논문은 외부 지식이 제한된 상황에서도 일관되고 정보적인 응답을 생성할 수 있도록 대화 모델에 지식을 주입하는 이중 단계 지식 주입 프레임워크인 InjK를 제안한다. 응답 생성과 관련 지식을 동시에 추론하는 방식으로, 잠재 지식 변수를 통해 확률적 인과관계를 모델링함으로써 지식 부족 상황에서도 응답의 난이도를 크게 낮추고 일관성과 정보성 향상을 이룬다.

ABSTRACT

Dialogue generation has been successfully learned from scratch by neural networks, but tends to produce the same general response, e.g., "what are you talking about?", in many conversations. To reduce this homogeneity, external knowledge such as the speaker's profile and domain knowledge is applied as an additional condition to diversify a model's output. The required knowledge to develop an effective conversation, however, is not always available, which is different from prior work's assumption that a model always has acquired sufficient knowledge before chatting. This problem can be detrimental when applying a dialogue model like this chatting online with unconstrained people and topics, because the model does not have the needed knowledge. To address this problem, we propose InjK, which is a two-stage approach to inject knowledge into a dialogue generation model. First, we train a large-scale language model and query it as textual knowledge. Second, we frame a dialogue generation model to sequentially generate textual knowledge and a corresponding response. Empirically, when a dialogue generation model can only access limited knowledge, our method outperforms prior work by producing more coherent and informative responses.

연구 동기 및 목표

• 실제 대화 시스템에서 추론 시 외부 지식이 자주 이용 불가능한 상황에서 발생하는 지식 부족 문제를 해결하기 위해.
• 학습 데이터에 사전에 주석 처리된 지식이 필요하지 않은 통합된 방법을 제안하여 지식이 희박한 상황에서도 효과적인 응답 생성을 가능하게 하기 위해.
• 관측되지 않은 지식과 대화 응답 간의 확률적 인과관계를 모델링하여 지식 부족에 대한 강건성을 향상시키기 위해.
• 추론 시 지식 부족의 영향을 평가하여 현재의 모델이 낮은 지식 조건에서 실패함을 입증하기 위해.

제안 방법

• InjK는 이중 단계 프로세스를 사용한다: 첫째, 대화 맥락에서 대규모 언어 모델을 이용해 후보 지식을 생성하고, 둘째, 대화 이력과 유추된 지식을 기반으로 응답 생성을 조건화한다.
• 이 방법은 관측되지 않은 지식을 나타내는 잠재 변수를 도입하며, 정책 기반 강화 학습과 쿨백-라이블러 발산(KLD) 정규화를 사용한 변분 오토인코더로 모델링한다.
• 의미적 내용을 도메인 전용 지식 공간으로 매핑함으로써 입력 발화에서 지식을 분리시키며, 부족하거나 암묵적인 지식에 대해 추론할 수 있도록 한다.
• 강화 학습 목표와 정책 기반 강화 학습을 사용하여 지식 생성과 응답 생성을 동시에 최적화하며, 정보성 있고 맥락에 부합하는 지식 생성을 장려한다.
• 지식 가용성에 대한 민감도를 측정하기 위해 지식 길이가 다양한 조건에서의 난이도 표준편차를 정의한 지식 갭 지표를 사용한다.
• Personachat 및 LIGHT 데이터셋에서 다양한 지식 가용성 수준에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 추론 시 지식 부족이 기존의 지식 기반 대화 모델의 성능에 어떤 영향을 미치는가?
• RQ2 학습 시 사전 주석 처리된 지식에 의존하지 않고도 외부 지식이 제한되거나 존재하지 않을 경우 고품질의 응답을 생성할 수 있는가?
• RQ3 잠재 지식을 확률적 변수로 모델링할 경우 응답의 일관성과 정보성에 어떤 영향을 미치는가?
• RQ4 지식 부족에 대한 강건성 측면에서 제안된 방법은 최신 기준 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 모델의 성능이 외부 지식 가용성에 얼마나 의존하는가? 그리고 이러한 의존도는 어떻게 최소화할 수 있는가?

주요 결과

• 지식이 제한된 상황에서 InjK는 MLE 및 CVAE 기준 모델보다 응답의 일관성과 정보성에서 뚜렷한 성능 향상을 보이며, 난이도는 낮고 인간 평가 점수는 높다.
• 모델은 다양한 지식 길이에서 안정적인 성능을 유지하며, 특히 KGuide 및 KGround와 비교해 지식 갭(난이도 표준편차)이 작음을 입증하여 지식 부족에 대한 강건성을 입증한다.
• 제거 실험 결과 정책 기반 강화 학습 또는 KLD 항목을 제거하면 성능이 떨어지며, 이는 지식과 응답 생성을 동시에 최적화하는 데 이들이 중요한 역할을 함을 확인한다.
• InjK는 훈련 및 추론 단계 모두에서 가장 낮은 지식 갭을 기록하여 지식 부족에 대한 강건성을 입증한다.
• 인간 평가 결과는 중간 정도의 평가자 간 일致도(Fleiss’ kappa)를 보이며, 지식이 부족한 조건에서 InjK가 기준 모델보다 더 일관되고 맥락에 부합하는 응답을 생성함을 확인한다.
• 결과적으로, 훈련 및 추론 단계에서 지식 부족 문제를 고려함으로써 더 인지적으로 타당하고 사용자 友好的한 대화 시스템이 가능해짐을 입증한다.