[논문 리뷰] Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence

Xiaoyu Shen, Ernie Chang외 3명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 65인용 수 10

한 줄 요약

이 논문은 잠재 변수로서 분할과 데이터-텍스트 상응성을 함께 학습하는 신경망 데이터-텍스트 생성 모델을 제안한다. 이는 해석 가능하고 환영이 적은 출력을 가능하게 하며 계산 비용을 감소시킨다. 생성을 세그먼트 단위로 모델링하고 각 세그먼트를 특정 데이터 레코드에 명시적으로 정렬함으로써, E2E 및 WebNLG 벤치마크에서 최고 성능을 달성하며 사실 오류가 전혀 발생하지 않고 정보 누락이나 반복도 최소화된다.

ABSTRACT

The neural attention model has achieved great success in data-to-text generation tasks. Though usually excelling at producing fluent text, it suffers from the problem of information missing, repetition and "hallucination". Due to the black-box nature of the neural attention architecture, avoiding these problems in a systematic way is non-trivial. To address this concern, we propose to explicitly segment target text into fragment units and align them with their data correspondences. The segmentation and correspondence are jointly learned as latent variables without any human annotations. We further impose a soft statistical constraint to regularize the segmental granularity. The resulting architecture maintains the same expressive power as neural attention models, while being able to generate fully interpretable outputs with several times less computational cost. On both E2E and WebNLG benchmarks, we show the proposed model consistently outperforms its neural attention counterparts.

연구 동기 및 목표

• 신경망 어텐션 기반 데이터-텍스트 모델에서의 해석 불가능성과 높은 환영 비율 문제를 해결한다.
• 에러 탐지와 제어를 어렵게 만드는 어텐션 메커니즘의 투명하지 않은 성질을 극복한다.
• 인간 레이블링된 분할 또는 정렬에 의존하지 않고 계산 비용을 줄이고 구조적 제어를 향상시킨다.
• 생성된 텍스트 세그먼트와 입력 데이터 레코드 간의 명시적이고 검증 가능한 상응성을 보장하여 신뢰도를 향상시킨다.
• 잠재적 구조 유도를 통한 엔드 투 엔드 훈련으로 높은 유창성과 다양성을 유지하면서 정보 누락과 반복을 최소화한다.

제안 방법

• 각 세그먼트가 단일 선택된 데이터 레코드에만 어텐션을 쏟는 방식으로 텍스트 생성을 세그먼트의 시퀀스로 모델링한다.
• 인간 레이블 없이도 훈련 중에 분할과 상응성을 잠재 변수로 함께 학습한다.
• 모든 가능한 분할과 정렬에 대해 동적 프로그래밍을 사용해 효율적으로 최대화 가능도를 근사하며 다항식 시간 내에 계산한다.
• 세그먼트 간 의존성을 모델링하기 위해 자동회귀 신경망을 통합하면서도 추론의 계산 가능성을 유지한다.
• 세그먼트의 해상도를 제어하고 너무 세밀하거나 과도하게 거친 분할을 방지하기 위해 부드러운 통계 제약을 통한 사후 정규화를 적용한다.
• 각 세그먼트와 연결된 데이터 레코드를 모니터링함으로써 제약 있는 디코딩을 가능하게 하여 히우리스틱 규칙이나 사용자 제약을 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 분할과 상응성의 공동 학습이 신경망 기반 데이터-텍스트 생성에서 해석 가능성 향상과 환영 감소에 기여하는가?
• RQ2 기본 신경망 어텐션 모델과 비교할 때, 제안된 모델은 유창성, 사실 일관성, 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 모델의 명시적 구조가 출력 콘텐츠에 대한 더 나은 제어를 가능하게 하고 반복 및 정보 누락을 얼마나 줄일 수 있는가?
• RQ4 규칙 기반 시스템 수준의 사실 정확성을 달성하면서도 신경망 모델의 유창성을 유지할 수 있는가?
• RQ5 해석 가능한 세그먼트 수준의 구조를 기반으로 제약 있는 디코딩이 반복과 정보 누락을 얼마나 효과적으로 줄이는가?

주요 결과

• 제안된 모델은 E2E 벤치마크에서 사실 오류가 전혀 없는 0%를 기록하며, 모든 신경망 기반 베이스라인을 능가하고 규칙 기반 시스템과 동일한 사실 정확도를 달성한다.
• E2E에서 (+RM) 제약 조건을 적용했을 때 정보 누락은 0으로 줄어들고 반복은 단지 2건으로 줄어들어 표준 seq2seq 모델을 크게 능가한다.
• WebNLG에서 모델는 높은 자동 평가 지표를 유지하면서도 정보 충분성과 다양성 측면에서 뛰어난 성능을 보이며, (+RM) 제약 조건 하에 오직 5건의 정보 누락만을 기록한다.
• WebNLG에서 (+R) 디코딩 제약 조건을 적용함으로써 반복 횟수를 19건에서 2건으로 줄여, 구조 인식 제어의 효과성을 입증한다.
• 전체 입력 어텐션 대신 각 세그먼트에 국한된 어텐션을 사용함으로써 표준 어텐션 기반 모델보다 수십 배 더 계산 효율성이 높다.
• 어텐션 맵의 시각화 결과는 표준 seq2seq 모델가 흐릿한 어텐션으로 여러 데이터 레코드에 흩어져 있는 데 비해, 제안된 모델은 개별 데이터 레코드에 날카롭게 집중되어 있음을 확인한다.