[논문 리뷰] Graph-based Multi-hop Reasoning for Long Text Generation

Liang Zhao, Jingjing Xu외 4명|arXiv (Cornell University)|2020. 09. 28.

Topic Modeling참고 문헌 39인용 수 10

한 줄 요약

이 논문은 지식 그래프 기반의 다단계 추론을 활용해 일관된 장문 생성을 위한 의미적 스켈레톤 경로를 추론하는 두 단계 프레임워크인 다단계 추론 생성(MRG)을 제안한다. 문장 수준의 의존성을 해석 가능한 경로를 통해 명시적으로 모델링함으로써, MRG는 스토리, 리뷰, 제품 설명 생성 작업 전반에서 일관성, 정보성, 다양성 측면에서 GPT-2 및 지식 강화 모델과 같은 강력한 베이스라인을 능가한다.

ABSTRACT

Long text generation is an important but challenging task.The main problem lies in learning sentence-level semantic dependencies which traditional generative models often suffer from. To address this problem, we propose a Multi-hop Reasoning Generation (MRG) approach that incorporates multi-hop reasoning over a knowledge graph to learn semantic dependencies among sentences. MRG consists of twoparts, a graph-based multi-hop reasoning module and a path-aware sentence realization module. The reasoning module is responsible for searching skeleton paths from a knowledge graph to imitate the imagination process in the human writing for semantic transfer. Based on the inferred paths, the sentence realization module then generates a complete sentence. Unlike previous black-box models, MRG explicitly infers the skeleton path, which provides explanatory views tounderstand how the proposed model works. We conduct experiments on three representative tasks, including story generation, review generation, and product description generation. Automatic and manual evaluation show that our proposed method can generate more informative and coherentlong text than strong baselines, such as pre-trained models(e.g. GPT-2) and knowledge-enhanced models.

연구 동기 및 목표

• 장문 생성에서 복잡한 문장 수준의 의미적 의존성을 학습하는 데 도전하는 것.
• 자기회귀적 또는 사전 훈련된 모델으로는 달성할 수 없는 수준을 넘어서, 생성된 장문의 일관성, 정보성, 다양성을 향상시키는 것.
• 의미적 스켈레톤 경로를 명시적으로 추론하고 노출시킴으로써 텍스트 생성의 해석 가능성을 제공하는 것.
• 암묵적인 삼중항에 대한 주의 메커니즘에 의존하는 것과는 달리, 지식 그래프에서의 다단계 추론을 통해 효과적인 지식 통합을 가능하게 하는 것.
• 경로 추론을 위한 인간 주석 데이터가 부족한 점을 감안해 MRG를 위한 자기지도 학습 방법을 개발하는 것.

제안 방법

• 모델은 입력 컨텍스트에서 스켈레톤 경로를 추론하기 위해 지식 그래프 내에서 이웃 노드를 반복적으로 탐색하는 기반 기반의 다단계 추론 모듈을 사용한다.
• 추론 모듈은 각 이웃 노드를 목표 개념, 중간 개념, 기타 개념으로 분류하여 의미 전달을 나타내는 경로를 형성한다.
• 경로 인식 문장 실현 모듈은 추론된 스켈레톤 경로와 이전 컨텍스트를 조건으로 유창한 문장을 생성한다.
• 모델은 인간 주석 경로가 필요 없이 두 모듈의 훈련을 위한 가짜 병렬 코퍼스를 구성하기 위해 자기지도 학습 방법을 활용한다.
• BERT는 지식 그래프 내 시퀀스 모델링과 노드 분류를 수행하기 위한 추론 모듈의 백본으로 사용된다.
• 경로 추론 후 문장 생성의 두 단계 과정을 통해 엔드 투 엔드로 훈련되며, 의미적 흐름에 대한 명시적 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지식 그래프에서의 다단계 추론은 자기회귀 모델 대비 장문의 일관성과 정보성 향상에 기여하는가?
• RQ2 암묵적인 주의 메커니즘과 비교해 명시적인 경로 추론은 텍스트 생성에서 해석 가능성에 어떻게 기여하는가?
• RQ3 인간 주석 경로 없이 자기지도 학습 방법이 다단계 추론 생성기를 효과적으로 훈련시킬 수 있는 정도는 어느 정도인가?
• RQ4 추론 및 실현 모듈의 분리가 오류 전파를 줄이고 생성 품질을 향상시키는가?
• RQ5 모델은 스토리, 리뷰, 제품 설명 생성과 같은 다양한 장문 생성 작업 전반에서 일반화 가능한가?

주요 결과

• MRG는 스토리, 리뷰, 제품 설명 생성의 세 가지 장문 생성 작업 전반에서 자동 평가 및 인간 평가에서 GPT-2 및 지식 강화 모델과 같은 강력한 베이스라인을 크게 능가한다.
• 인간 평가 결과, MRG는 기존 방법보다 더 일관성 있고 정보가 풍부하며 다양한 텍스트를 생성하며 문장 간 의미 전달이 향상됨을 보였다.
• 모델의 명시적 경로 추론은 추론 흐름을 해석 가능한 추적 경로로 제공하여 생성 과정에서 의미적 의존성이 어떻게 형성되는지 통찰을 제공한다.
• 골드 표준 경로 주석이 없더라도 자기지도 사전 훈련 전략이 의미 있는 스켈레톤 경로를 효과적으로 학습함을 입증했다.
• 특히 지식 기반이고 논리적으로 구조화된 출력이 요구되는 작업에서 정보성과 다양성 측면에서 상당한 향상을 달성했다.
• 경로 인식 실현 모듈은 추론된 개념적 경로를 바탕으로 자연스럽고 맥락에 적절한 문장을 생성하여 추론과 생성의 효과적 통합을 보여주었다.