[논문 리뷰] Controllable Paraphrase Generation with a Syntactic Exemplar

Mingda Chen, Qingming Tang외 2명|arXiv (Cornell University)|2019. 06. 03.

Topic Modeling참고 문헌 56인용 수 6

한 줄 요약

이 논문은 사전에 정의된 제어 요소 대신 문장 수준의 예시를 사용하여 생성 문장의 문법을 제어하는 새로운 가소성 있는 복구 생성 프레임워크를 제안한다. 의미와 문법을 분리한 잠재 변수를 갖는 변동형 오토인코더를 도입하며, 단어 노이징, 잠재적 단어 클러스터 코드, 다중 작업 학습을 통해 기존의 기준들에 비해 뛰어난 문법 제어성과 분리도를 달성한다. 새로 제작한 인간이 애너테이션한 데이터셋을 기반으로 한다.

ABSTRACT

Prior work on controllable text generation usually assumes that the controlled attribute can take on one of a small set of values known a priori. In this work, we propose a novel task, where the syntax of a generated sentence is controlled rather by a sentential exemplar. To evaluate quantitatively with standard metrics, we create a novel dataset with human annotations. We also develop a variational model with a neural module specifically designed for capturing syntactic knowledge and several multitask training objectives to promote disentangled representation learning. Empirically, the proposed model is observed to achieve improvements over baselines and learn to capture desirable characteristics.

연구 동기 및 목표

• 기존의 가소성 있는 텍스트 생성 방법이 사전에 정의된 제어 값이 필요로 하는 한계를 해결하기 위해, 문법이 자유형 문장 예시를 통해 제어되는 새로운 작업을 제안한다.
• 정량적 평가가 가능한 문법 제어 복구 생성을 위해 의미 입력, 문법 예시, 기준 출력을 포함한 새로운 인간 애너테이션 데이터셋을 구축한다.
• 의미와 문법을 분리한 잠재 표현을 갖는 딥 생성 모델을 개발하여 제어성과 생성 품질을 향상시킨다.
• 테스트 시기 파서에 의존하지 않고도 문법 표현 학습을 향상시키기 위해 새로운 학습 목표인 단어 노이징과 잠재적 단어 클러스터 코드를 설계한다.
• 모델이 의미적으로 충실하고 문법적으로 일치하는 복구 문장을 생성할 수 있는지 평가하며, 실패 모드와 해석 가능성도 분석한다.

제안 방법

• 의미(𝑦)와 문법(𝑧)을 위한 두 개의 분리된 잠재 변수를 갖는 변동형 오토인코더(VAE)를 제안하며, 의미와 구조를 별도로 제어할 수 있도록 한다.
• 구성 문법 트리의 트리 편집 거리 기반으로 복구 생성, 어순 유지, 문법 유사도를 동시에 최적화하는 다중 작업 학습 프레임워크를 도입한다.
• 학습 중에 품사 태그에 기반해 토큰을 교체하는 단어 노이징을 적용하여 내성적 안정성과 문법 일반화 능력을 향상시킨다.
• 잠재적 문법 표현을 압축하고 이해 가능한 문법 모델링을 장려하기 위해 학습된 잠재적 단어 클러스터 코드를 갖는 블로킹 레이어를 구현한다.
• 세 가지 디코더 변형(스왑, 컨카트, 인잇)을 설계하여 생성 품질에 미치는 영향을 평가하며, 스왑 변형이 다른 것들보다 뛰어난 성능을 보였다.
• 내용어를 제거한 후 구성 문법 트리 간의 트리 편집 거리 기반으로 새로운 '문법 유사도' 지표를 설계하여 구조적 충실도를 평가한다.

실험 결과

연구 질문

• RQ1 사전에 모든 가능한 문법 패턴을 알고 있지 않은 상태에서 자유형 문장 예시를 사용해 신경 기반 생성 모델이 문장의 문법을 효과적으로 제어할 수 있는가?
• RQ2 개선된 분리도와 해석 가능성으로 의미와 문법을 분리한 잠재 표현을 VAE 기반 프레임워크에서 어떻게 학습할 수 있는가?
• RQ3 단어 노이징과 잠재적 단어 클러스터 코드는 얼마나 문법 표현 학습과 생성 품질 향상에 기여하는가?
• RQ4 특히 문법 충실도와 의미 일관성 측면에서, 강력한 기준 모델인 SCPN과 비교해 모델의 성능은 어떠한가?
• RQ5 모델의 실패 모드는 무엇이며, 기존의 문법 제어 생성 모델과 비교해 어떤가?

주요 결과

• 제안된 모델은 BLEU, ROUGE, METEOR와 같은 표준 지표에서 기준 모델들보다 일관되게 향상된 성능을 보이며, 최고의 변형인 스왑 디코더가 모든 지표에서 다른 것들보다 뛰어난 성능을 보였다.
• 단어 위치 손실과 잠재적 단어 클러스터 코드를 갖는 모델은 트리 편집 거리로 측정한 문법 유사도 측면에서 뚜렷한 향상을 보이며, 더 나은 문법 제어 능력을 입증했다.
• 잠재 코드 모듈은 이해 가능한 단어 클러스터를 학습하며, 이는 모델이 분리된 방식으로 의미 있는 문법 패턴을 포착하고 있음을 보여준다.
• 테스트 시기 파서 없이도 입력의 의미를 유지하면서 예시의 문법 구조를 그대로 따르는 복구 문장을 성공적으로 생성하였다.
• 개선된 성능에도 불구하고, 모델은 여전히 길이 불일치 문제와 대명사 일관성 문제를 겪으며, 특히 의미를 표현하기에 충분히 길지 않은 짧은 문법 예시일 경우 SCPN과 유사한 문제를 보였다.
• 기능어가 예시와 기준 출력에서 정확히 일치하는 희귀한 경우, 모델는 유용한 기능어를 직접 복사함으로써 SCPN을 능가하는 성능을 보였으며, 이는 어휘 충실도 측면에서의 장점을 보여주었다.