[논문 리뷰] Text Generation from Knowledge Graphs with Graph Transformers

Rik Koncel-Kedziorski, Dhanush Bekal외 3명|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 31인용 수 45

한 줄 요약

GraphWriter은 그래프-트랜스포머 인코더를 사용하여 자동으로 추출된 지식 그래프에서 다문장 과학 초록을 생성하고, 여러 기준선보다 성능이 우수합니다.

ABSTRACT

Generating texts which express complex ideas spanning multiple sentences requires a structured representation of their content (document plan), but these representations are prohibitively expensive to manually produce. In this work, we address the problem of generating coherent multi-sentence texts from the output of an information extraction system, and in particular a knowledge graph. Graphical knowledge representations are ubiquitous in computing, but pose a significant challenge for text generation techniques due to their non-hierarchical nature, collapsing of long-distance dependencies, and structural variety. We introduce a novel graph transforming encoder which can leverage the relational structure of such knowledge graphs without imposing linearization or hierarchical constraints. Incorporated into an encoder-decoder setup, we provide an end-to-end trainable system for graph-to-text generation that we apply to the domain of scientific text. Automatic and human evaluations show that our technique produces more informative texts which exhibit better document structure than competitive encoder-decoder methods.

연구 동기 및 목표

• 자동으로 추출된 지식 그래프에서 일관된 다문장 텍스트 생성을 목표로 한다.
• 그래프 구조를 선형화 없이 더 잘 활용하기 위해 그래프-트랜스포머 기반의 인코더를 제안한다.
• 인코더-디코더 프레임워크에서 엔드 투 엔드로 학습 가능한 그래프-투-텍스트 생성을 보여준다.
• 그래프-투-텍스트 시스템 평가를 위한 지식 그래프와 과학 초록을 매핑한 새로운 데이터셋(AGENDA)을 제공한다.]
• method:["지식 그래프를 연결된 무레이블 그래프로 변환하되 관계 정보는 보존한다.","그래프 이웃에 대한 멀티헤드 셀프 어텐션과 글로벌 컨텍스트를 사용하는 Graph Transformer로 그래프를 인코딩한다.","정점(엔티티와 관계)을 임베딩하고 그래프 인코딩 전에 BiRNN으로 제목을 인코딩한다.","그래프 엔티티 또는 어휘 단어를 삽입하기 위해 카피 메커니즘을 사용하는 어텐션 기반 디코더로 디코딩한다.","타깃 텍스트와 복사된 엔티티에 대한 음의 대수 우도(NLL)를 최소화하여 엔드-투-엔드로 학습한다."]
• research_questions:["그래프-트랜스포머 인코더가 텍스트 생성을 위해 지식 그래프의 관계 구조를 효과적으로 활용할 수 있는가?","그래프 구조와 글로벌 컨텍스트를 포함하는 것이 표나 시퀀스 기반 인코더보다 다문장 생성을 개선하는가?","지식 그래프-투-텍스트 생성을 지식 비의존적 baselines와 비교했을 때 정보성, 일관성, 문법 면에서 어떤 차이가 있는가?]
• key_findings:["GraphWriter가 자동 지표(BLEU 및 METEOR)에서 기준선보다 우수하다.","GraphWriter (14.3 ± 1.01 BLEU, 18.8 ± 0.28 METEOR)가 GAT (12.2 ± 0.44 BLEU, 17.2 ± 0.63 METEOR)보다 우수하다.","지식 기반 GraphWriter 및 Graph Attention Network 변형이 더 적은 입력을 사용하는 모델(EntityWriter, Rewriter)보다 높은 성능을 보인다.","인간 평가에서 GraphWriter가 종종 Rewriter보다 우수한 구조와 문법을 보였고, 특정 기준 아래에서 인간이 작성한 초록보다 더 높은 정보성을 보이는 경우도 있다.","추론 결과 지식 그래프 엔티티의 40%가 생성 텍스트에 반영되지 않아 향후 보완이 필요함을 시사한다."]
• table_headers:["Model","BLEU","METEOR"]
• table_rows:[["GraphWriter","14.3 ± 1.01","18.8 ± 0.28"],["GAT","12.2 ± 0.44","17.2 ± 0.63"],["EntityWriter","10.38","16.53"],["Rewriter","1.05","8.38"]]} }`}/* Note: The title field remains as a placeholder since the original JSON provided a

제안 방법

• 지식 그래프를 연결된 무레이블 그래프로 변환하되 관계 정보는 보존한다.
• 그래프 이웃에 대한 멀티헤드 셀프 어텐션과 글로벌 컨텍스트를 사용하는 Graph Transformer로 그래프를 인코딩한다.
• 정점(엔티티와 관계)을 임베딩하고 그래프 인코딩 전에 BiRNN으로 제목을 인코딩한다.
• 그래프 엔티티 또는 어휘 단어를 삽입하기 위해 카피 메커니즘을 사용하는 어텐션 기반 디코더로 디코딩한다.
• 타깃 텍스트와 복사된 엔티티에 대한 음의 로그 우도(negative log-likelihood) 최소화로 엔드-투-엔드 학습한다.

실험 결과

연구 질문

• RQ1 그래프-트랜스포머 인코더가 텍스트 생성을 위해 지식 그래프의 관계 구조를 효과적으로 활용할 수 있는가?
• RQ2 그래프 구조와 글로벌 컨텍스트를 포함하는 것이 표 또는 시퀀스 기반 인코더보다 다문장 생성을 개선하는가?
• RQ3 지식 그래프-에서 텍스트로의 생성이 지식 비의존적 기준선과 비교해 정보성, 일관성 및 문법 측면에서 어떤 차이가 있는가?

주요 결과

모델	BLEU	METEOR
GraphWriter	14.3 ± 1.01	18.8 ± 0.28
GAT	12.2 ± 0.44	17.2 ± 0.63
EntityWriter	10.38	16.53
Rewriter	1.05	8.38

• GraphWriter가 자동 메트릭(BLEU 및 METEOR)에서 기준선보다 우수하다.
• GraphWriter (14.3 ± 1.01 BLEU, 18.8 ± 0.28 METEOR)가 GAT (12.2 ± 0.44 BLEU, 17.2 ± 0.63 METEOR)보다 우수하다.
• 지식 기반 GraphWriter 및 Graph Attention Network 변형이 더 적은 입력을 사용하는 모델(EntityWriter, Rewriter)보다 높은 성능을 보인다.
• 인간 평가에서 GraphWriter가 종종 Rewriter보다 우수한 구조와 문법을 보였고, 특정 기준 아래에서 인간이 작성한 초록보다 더 높은 정보성을 보이는 경우도 있다.
• 추론 결과 지식 그래프 엔티티의 40%가 생성 텍스트에 반영되지 않아 향후 보완이 필요함을 시사한다.