[논문 리뷰] Syntax-driven Iterative Expansion Language Models for Controllable Text Generation

Noé Casas, José A. R. Fonollosa외 1명|arXiv (Cornell University)|2020. 04. 05.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 문법적 구조를 기반으로 하는 반복적 확장 언어 모델(IE-LMs)을 제안한다. 이는 의존성 파싱 트리를 사용해 병렬적이고 문법적으로 정보를 반영한 토큰 생성을 유도하는 비자기적 텍스트 생성 프레임워크이다. 트리 구조에 따라 토큰을 디코딩함으로써, 자기적 모델보다 55% 빠른 추론(45%의 단계)을 달성하며, 변형된 트랜스포머 모델과 유사한 높은 유창성과 다양성을 유지하고, 스타일 변형을 위한 직접적인 문법적 제어가 가능하다.

ABSTRACT

The dominant language modeling paradigm handles text as a sequence of discrete tokens. While that approach can capture the latent structure of the text, it is inherently constrained to sequential dynamics for text generation. We propose a new paradigm for introducing a syntactic inductive bias into neural text generation, where the dependency parse tree is used to drive the Transformer model to generate sentences iteratively. Our experiments show that this paradigm is effective at text generation, with quality between LSTMs and Transformers, and comparable diversity, requiring less than half their decoding steps, and its generation process allows direct control over the syntactic constructions of the generated text, enabling the induction of stylistic variations.

연구 동기 및 목표

• 시퀀스 길이에 따라 선형적으로 증가하는 자동적 텍스트 생성의 비효율성 해결
• 문법적 구조를 활용해 병렬 디코딩을 가능하게 하는 비자기적 생성 패러다임 도입
• 생성된 텍스트의 문법적 구성에 직접적인 제어를 가능하게 하여 스타일 변형 유도
• 디코딩 단계를 크게 줄이면서도 높은 생성 품질과 다양성 유지
• 배치 처리와 서브워드 수준 토크나이제이션과 호환되는 학습 방법 개발

제안 방법

• 의존성 파싱 트리의 순서에 따라 토큰을 생성하도록 트랜스포머 기반 언어 모델을 훈련시키며, 루트에서 시작해 브랜치를 반복적으로 확장한다.
• 훈련 및 디코딩 중 비단말 노드를 나타내기 위해 의존성 플레이스홀더를 특수 토큰으로 사용한다.
• 의존성 트리를 이진 구조로 변환하기 위해 트리 이진화를 적용하여 브랜치 간 효율적인 병렬 디코딩을 가능하게 한다.
• 모든 토큰 생성 단계가 그 문법적 부모 및 형제 정보를 기반으로 하도록 모델을 의존성 구조에 조건화한다.
• 강화 학습 없이도 종단 간 완전한 지도 학습이 가능한 표준 교차 엔트로피 손실을 사용한다.
• 디코딩 중 서브워드 토크나이제이션을 의존성 트리 구조에 통합하여 서브워드 수준의 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의존성 파싱 트리가 높은 유창성과 통일성을 유지하면서도 비자기적이고 병렬적인 디코딩 과정을 이끌 수 있는가?
• RQ2 비자기적 모델에 비해 문법적 구조가 디코딩 단계를 얼마나 줄일 수 있으며, 생성 품질은 어떻게 유지되는가?
• RQ3 반복적 확장 메커니즘이 스타일 변형을 유도하기 위해 문법적 구성에 직접적인 제어를 가능하게 하는가?
• RQ4 서브워드 수준 토크나이제이션을 사용할 경우 모델의 다양성과 유창성은 어떻게 평가되는가?
• RQ5 트리 기반의 디코딩 순서는 자동적 트랜스포머 및 LSTMs와 비교해 자동 평가 및 인간 평가에서 더 나은가 또는 유사한 성능을 보이는가?

주요 결과

• 반복적 확장 언어 모델은 자동적 모델 대비 평균적으로 45%의 디코딩 단계로 줄여 55%의 속도 향상을 달성한다.
• 톆크너가 비순차적이고 트리 순서에 따라 생성되더라도, 높은 유창성과 문법적 일치를 유지한다.
• 자동 평가 및 인간 평가를 통해 LSTM 및 트랜스포머 모델과 유사한 생성 품질을 확보한다.
• 생성 텍스트의 다양성은 자동적 트랜스포머와 유사하여 출력 다양성에 심각한 저하가 없음을 시사한다.
• 서브워드 수준 토크나이제이션과 배치 학습을 지원하여 현대 NLP 파이프라인에서 실용적인 구현이 가능하다.
• 트리 구조 덕분에 직접적인 문법적 제어가 가능해져 생성된 텍스트의 스타일 변형을 유도할 수 있다.