[논문 리뷰] Constrained Decoding for Neural NLG from Compositional Representations in Task-Oriented Dialogue

Anusha Balakrishnan, Jinfeng Rao외 3명|arXiv (Cornell University)|2019. 06. 17.

Topic Modeling참고 문헌 44인용 수 7

한 줄 요약

이 논문은 작업 중심 대화를 위한 신경 텍스트 생성에서 논의 수준의 제어를 향상시키기 위해 트리 구조 의미 표현을 사용하는 것을 제안한다. 구성적 입력과의 구조 일致성을 강제하는 제약 있는 디코딩 알고리즘을 도입함으로써, 평탄한 MR 기반 모델 대비 의미 정확도가 높아지고 데이터 효율성이 향상되며 일반화 성능이 향상되어 E2E 및 새로운 날씨 분야 데이터셋에서 유의미한 성과를 달성한다.

ABSTRACT

Generating fluent natural language responses from structured semantic representations is a critical step in task-oriented conversational systems. Avenues like the E2E NLG Challenge have encouraged the development of neural approaches, particularly sequence-to-sequence (Seq2Seq) models for this problem. The semantic representations used, however, are often underspecified, which places a higher burden on the generation model for sentence planning, and also limits the extent to which generated responses can be controlled in a live system. In this paper, we (1) propose using tree-structured semantic representations, like those used in traditional rule-based NLG systems, for better discourse-level structuring and sentence-level planning; (2) introduce a challenging dataset using this representation for the weather domain; (3) introduce a constrained decoding approach for Seq2Seq models that leverages this representation to improve semantic correctness; and (4) demonstrate promising results on our dataset and the E2E dataset.

연구 동기 및 목표

• 작업 중심 대화 시스템의 신경 텍스트 생성에서 논의 수준의 제어 부족 문제를 해결하기 위해.
• 논의 관계를 포함한 의미 표현을 풍부하게 함으로써 신경 NLG에서 의미 정확도를 향상시키고 환각 현상을 줄이기 위해.
• 모든 필수 콘텐츠가 올바른 구조적 순서로 생성되도록 보장하기 위해 트리 구조 MR을 활용하는 제약 있는 디코딩 방법을 개발하기 위해.
• 구성적 MR이 포함된 E2E NLG 벤치마크와 새로운 날씨 분야 데이터셋에서 접근 방식을 평가하기 위해.
• 생성된 응답의 데이터 효율성, 일반화 능력, 다양성이 향상되었음을 입증하기 위해.

제안 방법

• 논문은 평탄한 슬롯-값 쌍 대신 대조(Contrast), 정당화(Justify), 결합(Join) 등의 논의 관계를 인코딩하는 트리 구조 의미 표현을 사용하는 것을 제안한다.
• 트리 노드의 생성을 추적하고 비드 서치 동안 구조적 제약을 강제하여 의도한 논의 구조를 유지하는 제약 있는 디코딩 알고리즘을 도입한다.
• 부분 가설 집합을 유지하는 수정된 비드 서치를 사용하며, 각 가설은 트리 내에서 어떤 노드가 이미 생성되었고 어떤 순서로 생성되었는지 추적한다.
• 디코딩 과정은 모든 필수 콘텐츠가 포함되고, 구조적 제약(예: 대조 문장은 특정 순서로 생성되어야 함)이 지켜지는 것을 보장한다.
• 모델은 시퀀스-투-시퀀스 프레임워크에서 훈련되지만, 추론 시에만 트리 구조 입력과 제약 조건을 활용한다.
• 제안된 방법은 E2E NLG 데이터셋과 논의 관계가 주석이 된 새로운 날씨 분야 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 트리 구조 의미 표현은 작업 중심 대화에서 신경 텍스트 생성의 의미 정확도와 논의 일관성을 향상시킬 수 있는가?
• RQ2 구성적 입력에 대해 트리 구조 MR을 기반으로 한 제약 있는 디코딩이 대조(Contrast) 및 결합(Join)과 같은 논의 관계 제어에서 평탄한 MR 기반 모델을 능가할 수 있는가?
• RQ3 구성적 MR의 사용이 데이터 효율성 향상과 새로운 구성적 예제로의 일반화 능력 향상에 기여하는가?
• RQ4 제약 있는 디코딩 방법이 생성된 응답에서 의미 오류와 환각 현상을 어느 정도 줄일 수 있는가?
• RQ5 제안된 방법은 BLEU와 같은 자동 평가 지표 성능을 저하시키지 않고 다양성을 향상시킬 수 있는가?

주요 결과

• 제약 있는 디코딩 모델은 E2E 및 날씨 데이터셋에서 각각 2,000개의 훈련 샘플로 90% 이상의 트리 정확도를 달성했고, 5,000개 샘플로는 95% 이상을 기록하여 높은 데이터 효율성을 입증했다.
• E2E 데이터셋에서, 이 방법은 제어 토큰만 사용한 Reed 등과의 방법보다 대조 관계 제어에서 유의미하게 뛰어난 성능을 보였다.
• E2E와 날씨 데이터에서 훈련한 모델는 구성적 E2E 테스트 예제에서 단지 5%의 구성적 데이터만 사용했을 때도 76%의 트리 정확도를 달성했으며, E2E 전용 모델(53.72% 정확도)을 능가했다.
• S2S-Constr 모델는 표준 기반 모델보다 높은 BLEU 점수와 더 나은 다양성 지표(예: 5.86 Shannon 엔트로피, 1.71 조건부 엔트로피)를 기록하여 표현력 향상을 입증했다.
• 이전의 다양성 향상 기법들이 종종 BLEU 점수를 떨어뜨리는 것과 달리, 이 방법은 자동 평가 지표 성능을 유지하면서도 의미 정확도를 향상시켰다.
• 이 방법은 구성적 의미로의 일반화 능력을 향상시켰으며, 날씨 분야에서 학습한 논의 구조가 다른 분야(E2E)로도 이식 가능함을 보여주었다.