[논문 리뷰] Transformer-Based Neural Text Generation with Syntactic Guidance

Yinghao Li, Rui Feng외 2명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 27인용 수 10

한 줄 요약

이 논문은 부분적인 구성 문법 분석 트리(구성 트리)를 문법적 지시로 사용하여 제어된 약어화(paraphrasing)를 향상시키는 Transformer 기반 텍스트 생성 모델인 GuiG를 제안한다. 트리 구조 인식을 강화하기 위해 경로 어텐션(경로 어텐션)을 도입하고, 소스 및 문법 입력을 통합하기 위해 다중 인코더 어텐션 메커니즘을 사용함으로써 GuiG는 최신 기술 수준(SOTA) 성능을 달성하여 BLEU 점수를 11.83에서 26.27로 향상시키며, 이전 방법에 비해 의미적 및 문법적 품질에서 뚜렷한 향상을 보였다.

ABSTRACT

We study the problem of using (partial) constituency parse trees as syntactic guidance for controlled text generation. Existing approaches to this problem use recurrent structures, which not only suffer from the long-term dependency problem but also falls short in modeling the tree structure of the syntactic guidance. We propose to leverage the parallelism of Transformer to better incorporate parse trees. Our method first expands a partial template constituency parse tree to a full-fledged parse tree tailored for the input source text, and then uses the expanded tree to guide text generation. The effectiveness of our model in this process hinges upon two new attention mechanisms: 1) a path attention mechanism that forces one node to attend to only other nodes located in its path in the syntax tree to better incorporate syntax guidance; 2) a multi-encoder attention mechanism that allows the decoder to dynamically attend to information from multiple encoders. Our experiments in the controlled paraphrasing task show that our method outperforms SOTA models both semantically and syntactically, improving the best baseline's BLEU score from 11.83 to 26.27.

연구 동기 및 목표

• 텍스트 생성 과정에서 트리 구조 문법 지시어를 효과적으로 포착하지 못하는 순환 모델의 한계를 해결하기 위해.
• 부분 템플릿에서 확장된 완전한 문법 분석 트리를 활용하여 제어된 텍스트 생성을 향상시키기 위해.
• 구조화된 문법 제약 조건을 사용하여 생성된 텍스트의 의미적 및 문법적 일치도를 향상시키기 위해.
• 구성 트리 내의 계층적 문법 의존성을 더 잘 모델링할 수 있는 어텐션 메커니즘을 설계하기 위해.

제안 방법

• 모델은 먼저 소스 텍스트에 맞게 부분 템플릿 문법 분석 트리를 확장하여 완전한 문법 분석 트리로 만든다.
• 경로 어텐션 메커니즘은 각 노드의 어텐션을 트리 내의 조상과 자손 노드로만 제한함으로써 계층적 문법 구조 인식을 강화한다.
• 다중 인코더 어텐션 메커니즘은 디코더가 소스 텍스트 인코더와 문법 트리 인코더의 표현을 동적으로 참조할 수 있도록 한다.
• 문법 확장기와 텍스트 생성기는 모두 Transformer 아키텍처를 기반으로 하며, 장거리 의존성 모델링을 위해 자기 어텐션(self-attention)을 활용한다.
• 분석 트리는 트리의 노드 수준에서 압축된 형식으로 선형화되어, Transformer 프레임워크 내에서 효율적인 처리를 가능하게 한다.
• 모델은 의미적 및 문법적 지도를 모두 포함하는 제어된 약어화 작업에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 순환 모델에 비해 텍스트 생성 과정에서 트리 구조 문법 지시어를 더 잘 모델링할 수 있는가?
• RQ2 경로 어텐션은 시퀀스 생성 과정에서 문법 계층을 얼마나 효과적으로 유지하는가?
• RQ3 다중 인코더 어텐션은 의미적 및 문법 정보의 통합을 얼마나 향상시키는가?
• RQ4 부분 분석 템플릿을 완전한 트리로 확장하는 것이 생성된 텍스트의 문법 제어력과 의미적 충실도를 향상시키는가?
• RQ5 제안된 방법은 자동 평가 및 인간 평가 지표에서 최신 기술 수준(SOTA) 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• GuiG는 제어된 약어화 작업에서 최고의 베이스라인 BLEU 점수를 11.83에서 26.27로 향상시켰다.
• SOTA 모델인 SCPN에 비해 문법 품질은 6.7% 향상되었고, 의미 품질은 122.1% 향상되었다.
• 인간 평가 결과, 의미 점수는 베이스라인 대비 1.13점 향상되었고, 문법 점수는 0.62점 향상되었다.
• 제거 실험(ablation study) 결과, 경로 어텐션 메커니즘이 의미 성능 향상에 크게 기여하는 것으로 나타났으며, 다중 인코더 어텐션은 다중 입력 소스를 처리하는 데 모델의 능력을 향상시켰다.
• 모델은 일반적인 분석 템플릿으로도 잘 일반화되어, 유사한 고수준 문법 구조를 가진 의미적으로 일관된 문장을 성공적으로 생성했다.
• 문법 확장기는 소스 입력의 의미와 일치하는 완전한 분석 트리를 효과적으로 생성하여 정확한 문법 제어를 가능하게 했다.