[논문 리뷰] Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation

Yufei Wang, Can Xu외 6명|arXiv (Cornell University)|2021. 07. 27.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 디코딩 중에 다중 술어 논리 제약 조건을 동적으로 추적하고 강제할 수 있도록 허용하는 새로운 모듈인 신경 규칙 실행 추적 기계(Neural Rule-Execution Tracking Machine, NRETM)를 제안한다. 상태 행렬과 논리 추적기로 구성된 NRETM은 교차 attention 모듈에 맥락 인식 표현을 통합함으로써, 제어 가능한 텍스트 생성 및 일반 텍스트 생성 작업 전반에서 뛰어난 성능을 달성하며, 제약 조건 준수와 제로샷 규칙 일반화에서 강력한 기준 모델을 능가한다.

ABSTRACT

Sequence-to-Sequence (S2S) neural text generation models, especially the pre-trained ones (e.g., BART and T5), have exhibited compelling performance on various natural language generation tasks. However, the black-box nature of these models limits their application in tasks where specific rules (e.g., controllable constraints, prior knowledge) need to be executed. Previous works either design specific model structure (e.g., Copy Mechanism corresponding to the rule "the generated output should include certain words in the source input") or implement specialized inference algorithm (e.g., Constrained Beam Search) to execute particular rules through the text generation. These methods require careful design case-by-case and are difficult to support multiple rules concurrently. In this paper, we propose a novel module named Neural Rule-Execution Tracking Machine that can be equipped into various transformer-based generators to leverage multiple rules simultaneously to guide the neural generation model for superior generation performance in a unified and scalable way. Extensive experimental results on several benchmarks verify the effectiveness of our proposed model in both controllable and general text generation.

연구 동기 및 목표

• 세부적이고 임의의 논리 제약 조건을 준수하지 못하는 블랙박스 신경 텍스트 생성기의 한계를 해결하기 위해.
• 술어 논리학을 사용하여 제약 조건 생성과 사전 지식 통합을 하나의 확장 가능한 프레임워크로 통합하기 위해.
• 디코딩 중 규칙 실행 진도를 동적으로 추적하는 메커니즘을 설계하여 실시간 제약 조건 강제를 가능하게 하기 위해.
• 이전 연구에서 보고된 사례별 모델 아키텍처나 학습 목표의 한계를 극복하기 위해.
• 학습 중에 볼 수 없었던 규칙 구성, 예를 들어 필수 키워드의 문장 위치를 변경하는 경우에도 제로샷 일반화를 가능하게 하기 위해.

제안 방법

• NRETM은 디코딩 중 각 제약 조건의 표현 진도를 기록하기 위해 상태 행렬을 도입한다.
• 논리 추적기는 최신으로 생성된 토큰을 기반으로 실행 가능한 프로그램을 논리 연산자로 사용하여 상태 행렬을 업데이트한다.
• 상태 표현은 상대적 위치 임베딩으로서 디코더의 교차 attention 모듈에 집어넣어진다.
• 이 프레임워크는 임의의 술어 논리 공식을 지원하여 규칙 정의의 유연성과 확장성을 보장한다.
• 동적 추적 메커니즘은 생성 중 제약 위반을 실시간으로 모니터링하고 수정할 수 있도록 한다.
• 사전 훈련된 시퀀스 투 시퀀스 아키텍처(예: T5)에 모델을 통합하여 엔드 투 엔드 훈련과 추론이 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 신경 텍스트 생성 중에 동시에 여러 임의의 술어 논리 제약 조건을 강제할 수 있는가?
• RQ2 정적 제약 조건 강제 방식에 비해 동적 규칙 추적 방식은 정확도와 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 학습 중에 볼 수 없었던 새로운 규칙 구성에 대해 모델은 제로샷 일반화가 가능한가?
• RQ4 NRETM은 복잡한 세부적인 제약 조건을 엄격히 준수하면서도 생성 품질을 얼마나 향상시킬 수 있는가?
• RQ5 NRETM은 시퀀스 투 시퀀스 생성에 사전 지식(예: 커버리지, 리드 편향 등)을 얼마나 효과적으로 통합할 수 있는가?

주요 결과

• 제로샷 테스트에서 NRETM은 필수 키워드를 올바른 문장 위치에 놓는 데 97.7%의 정확도를 달성했으며, 표준 T5는 단지 19.7%에 그쳤다.
• 스토리 생성 작업에서 NRETM은 요구된 스토리 요소의 98.3%를 커버하면서도, 그 중 97.7%가 올바른 문장에 나타나도록 유지했다.
• 공감각 생성 벤치마크에서 NRETM은 복잡한 제약 조건 하에서 기준 모델보다 유의미하게 공감각에 부합하는 응답을 생성하는 데 뛰어난 성능을 보였다.
• TED15 Zh-En 번역 벤치마크에서 NRETM은 문서 수준의 커버리지 제약 조건을 강제하면서도 생성 품질을 향상시켰다.
• 동적 추적 메커니즘이 정적 전략에 비해 제약 조건 준수와 유창성 측면에서 뚜렷한 성능 향상을 보였다.
• 모델는 새로운 규칙 구성, 예를 들어 필수 키워드를 더 이른 문장으로 재배치하는 경우에도 강력한 제로샷 일반화 능력을 보였다.