[논문 리뷰] Non-Autoregressive Neural Dialogue Generation

Qinghong Han, Yuxian Meng외 2명|arXiv (Cornell University)|2020. 02. 11.

Topic Modeling참고 문헌 61인용 수 11

한 줄 요약

이 논문은 자동회귀(AR) 디코딩에서 발생하는 국소 최적화 문제를 해결하기 위해 최대 상호정보량(MMI)을 통합한 비자동회귀(비-AR) 신경 대화 생성 모델을 제안한다. 비-AR 구조는 각 토큰을 독립적으로 생성함으로써 생성 즉시 $p(x|y)$를 계산할 수 있게 하여 전역 최적화를 가능하게 한다. 실험 결과, 이 방법은 더 다양한, 더 일관성 있고 내용이 풍부한 응답을 생성하며, AR 기반 MMI 모델 대비 BLEU 점수와 인간 평가에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Maximum Mutual information (MMI), which models the bidirectional dependency between responses ($y$) and contexts ($x$), i.e., the forward probability $\log p(y|x)$ and the backward probability $\log p(x|y)$, has been widely used as the objective in the \sts model to address the dull-response issue in open-domain dialog generation. Unfortunately, under the framework of the \sts model, direct decoding from $\log p(y|x) + \log p(x|y)$ is infeasible since the second part (i.e., $p(x|y)$) requires the completion of target generation before it can be computed, and the search space for $y$ is enormous. Empirically, an N-best list is first generated given $p(y|x)$, and $p(x|y)$ is then used to rerank the N-best list, which inevitably results in non-globally-optimal solutions. In this paper, we propose to use non-autoregressive (non-AR) generation model to address this non-global optimality issue. Since target tokens are generated independently in non-AR generation, $p(x|y)$ for each target word can be computed as soon as it's generated, and does not have to wait for the completion of the whole sequence. This naturally resolves the non-global optimal issue in decoding. Experimental results demonstrate that the proposed non-AR strategy produces more diverse, coherent, and appropriate responses, yielding substantive gains in BLEU scores and in human evaluations.

연구 동기 및 목표

• 대화 생성에 최대 상호정보량(MMI)을 사용할 때 발생하는 자동회귀(AR) 디코딩의 국소 최적화 문제를 해결하기 위해.
• 모든 시퀀스가 완성되지 않은 상태에서도 실시간으로 각 생성된 토큰에 대해 $p(x|y)$를 계산하여 MMI 목적함수의 전역 최적화를 가능하게 하기 위해.
• 오픈 도메인 대화 시스템에서 응답의 다양성, 일관성, 내용의 풍부함을 향상시키기 위해.
• 비-AR 생성 방식에 MMI를 적용한 성능을 대화 생성 및 기계 번역 작업 모두에서 평가하기 위해.

제안 방법

• 목표 토큰을 독립적으로 생성하는 비자동회귀(비-AR) 생성 프레임워크를 채택하여 각 토큰 생성 즉시 $p(x|y)$를 계산할 수 있도록 한다.
• 비-AR 디코딩 과정에 $\log p(y|x) + \log p(x|y)$ 형태의 MMI 목적함수를 통합하여, 각 토큰 생성 시점에서 $p(x|y)$를 평가함으로써 전역 최적화를 가능하게 한다.
• 컨텍스트 인코딩과 응답 생성을 모두 위해 트랜스포머 백본을 갖춘 시퀀스 투 시퀀스 모델을 사용한다.
• 비-AR 생성의 학습 안정성과 성능 향상을 위해 지식 정복 기법을 적용한다.
• 각 토큰 단위로 MMI 점수를 점진적으로 계산함으로써 빔 서치의 한계를 피하고 다양한 출력 생성을 가능하게 한다.
• OpenSubtitles 데이터셋을 사용한 대화 생성 및 WMT14/16 벤치마크를 사용한 기계 번역 작업에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 비자동회귀 생성 방식은 자동회귀 MMI 디코딩에서 내재된 국소 최적화 문제를 해결할 수 있는가?
• RQ2 점진적 토큰 생성 과정에서 $p(x|y)$ 계산을 통합함으로써 더 다양한, 더 일관성 있는 응답을 생성할 수 있는가?
• RQ3 비-AR+MMI는 AR 기반 모델과 MMI를 결합한 다양한 디코딩 전략 대비 응답 품질과 BLEU 점수에서 더 우수한가?
• RQ4 제안된 방법은 대화 생성을 넘어 기계 번역과 같은 다른 시퀀스 투 시퀀스 작업으로 일반화될 수 있는가?

주요 결과

• 비-AR+MMI 모델은 내용의 풍부성에 대해 55.3%의 인간 평가 점수를 기록하여, 동일한 메트릭에서 AR+MMI(43.2%)와 AR+MMI+RL(48.7%)를 뚜렷이 앞서며 성능 향상을 보였다.
• 인간 평가 결과, 비-AR+MMI는 AR+MMI보다 유의미하게 더 일관성 있고 내용이 풍부한 것으로 나타났으며, 두 메트릭 모두 p-value < 0.01이었다.
• WMT14 En→De 번역 작업에서 비-AR+MMI는 23.80 BLEU를 기록하여 기본 비-AR 모델(22.32) 대비 +1.48 향상된 성능을 보였다.
• 비-AR+MMI 모델은 AR 기반 모델 대비 더 다양한 응답을 생성하며, AR+MMI 출력에서 흔히 나타나는 'I'와 같은 공통 접두어의 반복 빈도가 감소한 것으로 확인되었다.
• AR+MMI 및 AR+MMI+RL 대비 내용의 풍부성(p < 0.01)과 일관성(p < 0.01)에서 통계적으로 유의미한 향상이 나타났다.
• OpenSubtitles 대화 데이터셋에서 비-AR+MMI 모델은 44.6 BLEU 점수를 기록하여, AR+MMI(30.6)와 AR(38.2)를 모두 능가하는 인간 평가 메트릭에서 뛰어난 성능을 보였다.