[논문 리뷰] Synchronous Bidirectional Inference for Neural Sequence Generation

Jiajun Zhang, Long Zhou외 2명|arXiv (Cornell University)|2019. 02. 24.

Natural Language Processing Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 시퀀스 생성 중에 왼쪽에서 오른쪽과 오른쪽에서 왼쪽으로의 디코딩을 동시에 진행하고 상호작용할 수 있도록 하는 동기화 이중방향 추론 모델을 제안한다. 새로운 비드 서치 알고리즘과 동기화 어텐션 메커니즘을 도입함으로써, 이 모델는 동시에 과거 및 미래의 맥락을 활용하여 기계 번역 및 개괄 요약 작업에서 강력한 베이스라인보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

In sequence to sequence generation tasks (e.g. machine translation and abstractive summarization), inference is generally performed in a left-to-right manner to produce the result token by token. The neural approaches, such as LSTM and self-attention networks, are now able to make full use of all the predicted history hypotheses from left side during inference, but cannot meanwhile access any future (right side) information and usually generate unbalanced outputs in which left parts are much more accurate than right ones. In this work, we propose a synchronous bidirectional inference model to generate outputs using both left-to-right and right-to-left decoding simultaneously and interactively. First, we introduce a novel beam search algorithm that facilitates synchronous bidirectional decoding. Then, we present the core approach which enables left-to-right and right-to-left decoding to interact with each other, so as to utilize both the history and future predictions simultaneously during inference. We apply the proposed model to both LSTM and self-attention networks. In addition, we propose two strategies for parameter optimization. The extensive experiments on machine translation and abstractive summarization demonstrate that our synchronous bidirectional inference model can achieve remarkable improvements over the strong baselines.

연구 동기 및 목표

• 기존의 왼쪽에서 오른쪽으로의 시퀀스 생성 방식에서 초기 토큰은 더 정확하지만 후반 토큰의 정확도가 떨어지는 불균형한 생성 품질 문제를 해결하기 위해.
• 미래 예측을 활용하여 현재 출력을 향상시키기 위해 추론 도중 왼쪽에서 오른쪽과 오른쪽에서 왼쪽으로의 디코딩이 상호작용할 수 있도록 하기 위해.
• 왼쪽에서 오른쪽과 오른쪽에서 왼쪽 추론을 위한 별도의 모델을 훈련하지 않도록 하는 통합된 모델 아키텍처를 설계하기 위해.
• 두 가지 제안된 전략을 사용하여 모델 파라미터를 효과적으로 최적화함으로써 시퀀스 간 작업에서의 성능 향상에 기여하기 위해.

제안 방법

• 각 디코딩 단계에서 양방향 정보 교환을 가능하게 하면서도 왼쪽에서 오른쪽과 오른쪽에서 왼쪽으로의 디코딩을 위한 별도의 비드를 유지하는 새로운 비드 서치 알고리즘을 제안한다.
• 각 디코더가 자신의 이전 맥락뿐 아니라 반대 방향에서 생성된 미래 예측에도 어텐션을 줄 수 있도록 하는 동기화 어텐션 메커니즘을 도입한다.
• 이중방향 디코딩을 지원하는 단일 디코더 아키텍처를 활용하여, 별도의 독립된 모델이 필요 없도록 한다.
• 이중방향 디코딩 경로 간의 훈련 효율성과 모델 정렬을 향상시키기 위해 두 가지 파라미터 최적화 전략을 설계한다.
• 광범위한 적용성을 확보하기 위해 LSTM 기반 및 Transformer 기반의 시퀀스 간 모델 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 동기화 이중방향 디코딩은 시퀀스 간 작업에서 생성된 시퀀스의 균형과 총합 품질을 향상시킬 수 있는가?
• RQ2 분리된 모델이 필요 없이 오른쪽에서 왼쪽으로의 디코딩에서 유도된 미래 맥락을 어떻게 효과적으로 왼쪽에서 오른쪽으로의 생성에 통합할 수 있는가?
• RQ3 왼쪽에서 오른쪽과 오른쪽에서 왼쪽 디코더 간의 상호작용적 실시간 정보 교환은 순차적 또는 독립적인 접근 방식보다 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 방법은 기계 번역 및 개괄 요약과 같은 다양한 시퀀스 생성 작업에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 동기화 이중방향 추론 모델은 기계 번역 및 개괄 요약 작업 모두에서 강력한 왼쪽에서 오른쪽 기반 모델보다 뚜렷한 성능 향상을 달성한다.
• NIST 중국어-영어 번역 작업에서, 모델은 머리 토큰과 꼬리 토큰의 정확도 간 격차를 줄여 더 균형 잡힌 예측을 달성한다.
• 기존의 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽 추론 방식보다 첫 번째 및 마지막 네 개 토큰의 매칭 정확도가 향상되어 전체 시퀀스 품질 향상이 확인된다.
• 광범위한 실험 결과는 추론 도중 과거와 미래 맥락을 효과적으로 활용함으로써 더 일관되고 정확한 출력을 도출할 수 있음을 확인한다.