[논문 리뷰] Improving Sequence-to-Sequence Learning via Optimal Transport

Li‐Qun Chen, Yizhe Zhang외 8명|arXiv (Cornell University)|2019. 01. 18.

Topic Modeling참고 문헌 69인용 수 23

한 줄 요약

이 논문은 최적 운반(OT) 기반의 시퀀스 수준 감독을 통해 표준 최대우도추정(MLE)을 대체하거나 보완함으로써 훈련을 향상시키는 새로운 시퀀스-투-시퀀스 학습 프레임워크를 제안한다. 생성된 시퀀스와 기준 시퀀스 간의 워샤르슈타인 거리 최소화를 통해 의미적 일치도 향상되고 노출편향이 감소하여 기계 번역, 개괄 요약, 이미지 캡션 생성 작업 전반에서 일관된 성능 향상을 이룬다.

ABSTRACT

Sequence-to-sequence models are commonly trained via maximum likelihood estimation (MLE). However, standard MLE training considers a word-level objective, predicting the next word given the previous ground-truth partial sentence. This procedure focuses on modeling local syntactic patterns, and may fail to capture long-range semantic structure. We present a novel solution to alleviate these issues. Our approach imposes global sequence-level guidance via new supervision based on optimal transport, enabling the overall characterization and preservation of semantic features. We further show that this method can be understood as a Wasserstein gradient flow trying to match our model to the ground truth sequence distribution. Extensive experiments are conducted to validate the utility of the proposed approach, showing consistent improvements over a wide variety of NLP tasks, including machine translation, abstractive text summarization, and image captioning.

연구 동기 및 목표

• BLEU나 ROUGE와 같은 시퀀스 수준 평가 지표와의 괴리 문제를 해결하기 위해 단어 수준 MLE 훈련과 시퀀스 수준 평가 지표 간의 불일치를 해결한다.
• 자기회귀적 생성에서 발생하는 노출편향을 해소하기 위해 글로벌 시퀀스 수준 감독을 도입한다.
• 강화학습이나 적대적 훈련의 불안정성 문제를 피하면서도 안정적이고 미분 가능한 시퀀스 수준 손실을 개발한다.
• 최적 운반(OT)을 통해 입력 시퀀스와 기준 시퀀스 양쪽과의 정렬을 통해 생성된 시퀀스의 의미 유지력과 구조적 일관성을 향상시킨다.
• 번역, 요약, 이미지 캡션 생성과 같은 다양한 시퀀스-투-시퀀스 작업에 걸쳐 OT 기반 정규화의 일반화 능력을 입증한다.

제안 방법

• 생성된 시퀀스와 기준 시퀀스 간의 워샤르슈타인 거리를 계산하는 최적 운반(OT) 기반 시퀀스 수준 손실을 도입하여 의미 유사도를 증진시킨다.
• 교차 엔트로피와 OT 기반 정규화 항을 조합한 정규화된 MLE 손실로 훈련 목표를 설정함으로써 모델이 더 나은 의미 일치를 향해 유도한다.
• 생성된 시퀀스와 입력 시퀀스 간의 OT 거리를 계산하여 보다 넓은 감독을 제공함으로써 모델이 생성 과정에서 소스 정보를 효과적으로 활용하도록 보장한다.
• 모델의 출력 분포와 진짜 데이터 분포 사이의 거리 최소화를 목표로 하는 근사 워샤르슈타인 기울기 유동으로 훈련 과정을 해석한다.
• 엔트로피 정규화를 통한 미분 가능한 OT 거리 근사치를 사용하여 신경망 내에서 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 아키텍처 수정 없이도 GRU 기반 Seq2Seq, Transformer 유사 모델 등 다양한 아키텍처와 작업에 적용 가능하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 최적 운반은 단어 수준 MLE보다 시퀀스-투-시퀀스 모델에 대해 더 효과적인 시퀀스 수준 감독을 제공할 수 있는가?
• RQ2 OT 기반 정규화는 자기회귀적 생성에서 노출편향을 줄이고 일반화 능력을 향상시키는가?
• RQ3 훈련 안정성과 성능 측면에서 강화학습 및 적대적 훈련과 비교해 본다면, 제안된 방법은 어떠한가?
• RQ4 OT 손실은 번역, 요약, 이미지 캡션 생성과 같은 다양한 NLP 작업에서 의미 유지력과 구조적 일관성을 향상시킬 수 있는가?
• RQ5 합성 손실에서 가중치 계수 γ에 대해 OT 기반 방법은 안정적인가, 특히 γ ∈ (0,1] 범위에서의 하이퍼파rameter 선택에 민감한가?

주요 결과

• OT 기반 보정 모델은 모든 평가 작업에서 MLE 기반 모델보다 일관된 성능 향상을 보였으며, WMT'14 영어-독어 번역 세트에서 BLEU 점수가 최대 2.4점 상승했다.
• Gigaword 요약 데이터셋에서 모델은 ROUGE-L 점수 34.0을 기록하여 기반 Seq2Seq보다 1.6점 높고, 더 복잡한 아키텍처를 사용한 더 높은 성능의 모델이 보고한 36.92점의 최신 기술 성능을 뛰어넘었다.
• DUC-2004 요약 세트에서 ROUGE-L 점수는 24.8에서 26.0로 향상되어 더 작은 크기이면서도 더 도전적인 데이터셋에서 강력한 성능을 입증했다.
• COCO 이미지 캡션 데이터셋에서 BLEU-4 점수는 81.5에서 83.2로, CIDEr 점수는 120.1에서 124.3로 향상되어 단일 지표에 과적합되지 않는 다중 지표에서의 일관된 성능 향상을 보였다.
• 하이퍼파rameter γ에 대해 모델은 안정적인 성능을 유지하였으며, γ ∈ (0,1] 범위에서 테스트 BLEU 점수가 기준보다 항상 높게 유지되어 안정성을 입증했다.
• 정성적 분석 결과, 일반 MLE 모델 대비 번역 및 요약 작업에서 핵심 의미어를 더 잘 유지하고 오해를 줄이는 경향을 보였다.