[논문 리뷰] Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs

Houyu Zhang, Zhenghao Liu외 2명|arXiv (Cornell University)|2019. 11. 07.

Topic Modeling참고 문헌 49인용 수 11

한 줄 요약

이 논문은 개념 흐름(ConceptFlow)을 제안하며, 공통 지식 지식 그래프를 통해 대화를 지도적 탐색으로 모델링하는 기반 대화 생성 모델이다. 그래프 어텐션 기반 기법을 사용해 다단계 개념 이동을 탐색한다. GPT-2 대비 70% 적은 파라미터로 Reddit 대화에서 최고 성능을 기록하며, 즉각적인 맥락을 초월해 개념 흐름을 명시적으로 모델링함으로써 더 정보가 풍부하고 다양한, 주제에 부합하는 응답을 생성한다.

ABSTRACT

Human conversations naturally evolve around related concepts and scatter to multi-hop concepts. This paper presents a new conversation generation model, ConceptFlow, which leverages commonsense knowledge graphs to explicitly model conversation flows. By grounding conversations to the concept space, ConceptFlow represents the potential conversation flow as traverses in the concept space along commonsense relations. The traverse is guided by graph attentions in the concept graph, moving towards more meaningful directions in the concept space, in order to generate more semantic and informative responses. Experiments on Reddit conversations demonstrate ConceptFlow's effectiveness over previous knowledge-aware conversation models and GPT-2 based models while using 70% fewer parameters, confirming the advantage of explicit modeling conversation structures. All source codes of this work are available at https://github.com/thunlp/ConceptFlow.

연구 동기 및 목표

• 신경 대화 모델에서 반복적이고 주제에서 벗어난 응답의 한계를 해결하기 위해 대화를 구조화된 지식에 기반하게 하는 것.
• 사람의 대화에서 주제가 관련되지만 먼 개념들 사이에서 자연스러운 개념 이동을 모델링하는 것.
• 공통 지식 그래프 내에서 다단계 경로를 명시적으로 탐색함으로써 응답의 다양성과 정보성 향상을 도모하는 것.
• GPT-2와 같은 대규모 자동회귀 모델에 비해 더 나은 파라미터 효율성을 확보하면서도 성능을 유지하거나 초월하는 것.

제안 방법

• ConceptFlow는 입력에 포함된 기반 개념에서 시작하여 공통 지식 지식 그래프를 통해 지도적 탐색으로 대화 생성을 표현한다.
• 그래프 어텐션 기법을 사용해 관련 개념에 동적으로 주목함으로써 개념 공간 내에서 의미 있는 방향으로 탐색을 이끌어낸다.
• 모델은 0단계(즉각적) 및 다단계(멀리 떨어진) 개념에 주목하여 응답을 생성하며, 정제 단계를 통해 고품질의 개념을 필터링한다.
• 디코딩 중에 낮은 관련성의 개념을 제거하기 위해 게이트 메커니즘($\sigma^*$)을 사용하여 주제와 관련된 개념에 집중한다.
• 그래프 어텐션 기법은 각 개념의 탐색 경로에서의 중요도를 결정하는 어텐션 점수($\beta^{e_i}$, $\gamma^f$)를 계산한다.
• 모델는 실제 응답의 가능도를 최대화하면서도, 다단계 탐색를 통해 먼 관련 개념들을 포함하도록 훈련된다.

실험 결과

연구 질문

• RQ1 공통 지식 지식 그래프 내에서 지도적 탐색으로 대화를 모델링하는 것이 정적 지식 통합에 비해 응답 품질과 다양성 향상에 기여하는가?
• RQ2 다단계 개념 탐색은 생성된 응답의 정보성과 주제 관련성에 어떤 영향을 미치는가?
• RQ3 그래프 어텐션 기법이 응답 생성 중 의미 있는 개념 전이를 선택하는 데 얼마나 기여하는가?
• RQ4 개념 흐름을 명시적으로 모델링하면 GPT-2와 같은 대규모 자동회귀 모델에 비해 더 높은 파라미터 효율성을 달성할 수 있는가?

주요 결과

• ConceptFlow는 Reddit 대화에서 자동 평가 및 인간 평가 모두에서 seq2seq 모델과 이전의 지식 기반 모델보다 뛰어난 성능을 보였다.
• 두 단계 탐색을 사용할 경우 황금 기준 개념의 61%를 회수하였고, 세 단계로 늘어나면 81%로 증가하여 다단계 추론의 가치를 확인했다.
• CCM과 GPT-2에 비해 ConceptFlow는 더 정보가 풍부하고 반복적이지 않은 응답을 생성했으며, 사례 연구를 통해 입력 외부의 개념들인 '소리'(sound)와 '점검'(check) 등을 효과적으로 활용한 것으로 나타났다.
• 微세한 GPT-2에 비해 70% 적은 파라미터로도 뛰어난 성능을 달성하여 높은 파라미터 효율성을 입증했다.
• 그래프 어텐션 기법은 황금 기준 개념과 0단계 개념을 효과적으로 우선순위를 정하며, 관련 있는 두 단계 개념에 대해 높은 어텐션 점수를 기록하여 의미 있는 탐색 경로를 이끌 수 있음을 확인했다.
• 인간 평가를 통해 ConceptFlow는 베이스라인에 비해 더 적절하고 정보가 풍부한 응답을 생성함을 확인했으며, 특히 먼 관련 개념들을 효과적으로 통합하는 데 뛰어난 성능을 보였다.