[논문 리뷰] Incorporating Copying Mechanism in Sequence-to-Sequence Learning

Jiatao Gu, Zhengdong Lu외 2명|arXiv (Cornell University)|2016. 03. 21.

Topic Modeling참고 문헌 15인용 수 258

한 줄 요약

CopyNet은 입력에서 부분 subsequences를 differentiable copying 메커니즘으로 복사할 수 있게 확장하여 합성 패턴 학습, 텍스트 요약, 단일 턴 대화와 같은 작업에서 성능을 향상시킵니다.

ABSTRACT

We address an important problem in sequence-to-sequence (Seq2Seq) learning referred to as copying, in which certain segments in the input sequence are selectively replicated in the output sequence. A similar phenomenon is observable in human language communication. For example, humans tend to repeat entity names or even long phrases in conversation. The challenge with regard to copying in Seq2Seq is that new machinery is needed to decide when to perform the operation. In this paper, we incorporate copying into neural network-based Seq2Seq learning and propose a new model called CopyNet with encoder-decoder structure. CopyNet can nicely integrate the regular way of word generation in the decoder with the new copying mechanism which can choose sub-sequences in the input sequence and put them at proper places in the output sequence. Our empirical study on both synthetic data sets and real world data sets demonstrates the efficacy of CopyNet. For example, CopyNet can outperform regular RNN-based model with remarkable margins on text summarization tasks.

연구 동기 및 목표

• Seq2Seq 작업에서 입력 부분 subsequences의 정확한 복사의 필요성에 대한 동기 부여(예: 엔티티 이름, 날짜).
• 생성 모드와 복사 모드를 모두 통합하는 차별화 가능한 프레임워크의 통합 인코더–디코더 모델(CopyNet) 제안.
• 합성, 요약 및 대화 데이터셋 전반에서 CopyNet의 효과성 입증.
• 소스 측 콘텐츠를 활용하여 어휘 외(words) 문제를 개선하는 복사의 도움이 되는지 보여주기

제안 방법

• 인코더–디코더 아키텍처와 generate-mode와 copy-mode를 결합한 혼합 예측 모델을 갖춘 CopyNet 소개.
• 복사 모드 점수를 소스 은닉 상태를 사용하여 입력 부분을 복사할 대상(subsequence)을 선택하도록 정의(Eq. 6).
• 표준 디코더 출력과 매개변수화된 어휘 점수를 사용하는 generate-mode 점수 정의(Eq. 7).
• 생성 모드와 복사 모드 간의 소프트맥스 기반 경쟁을 형성하기 위해 공유 정규화 상수 Z를 계산(Eq. 4–6).
• 소스 메모리 M의 컨텐츠 기반 읽기(attentive read)와 위치 기반 선택적 읽기(selective read)로 하이브리드 주소 지정 메커니즘 도입(섹션 3.3–3.4).
• 다음 단계 지침을 안내하기 위해 이전 단어 임베딩과 위치 인식 선택적 읽기 벡터를 포함하도록 디코더 상태 업데이트(Eq. 9).
• 추가 모드 라벨 없이 음의 교차 엔트로피 손실을 최소화하여 엔드투엔드 학습(Eq. 10).

실험 결과

연구 질문

• RQ1 차별화 가능한 복사 메커니즘이 입력 구간의 faithful 재현이 필요한 Seq2Seq 작업에서 모델을 향상시킬 수 있는가?
• RQ2 CopyNet은 복사와 생성 간의 균형을 어떻게 유지하고 소스 복사를 통해 어휘 외(OOV) 단어를 어떻게 처리하는가?
• RQ3 CopyNet은 합성, 요약 및 대화 데이터셋 전반에서 기존 인코더–디코더 모델(어텐션 여부에 관계없이)보다 성능을 향상시키는가?
• RQ4 효과적인 복사를 가능하게 하는 하이브리드(컨텐츠 기반 및 위치 기반) 주소 지정의 역할은 무엇인가?

주요 결과

Table 1: Test accuracy (%) on synthetic data	Rule-type	Enc-Dec	RNNSearch	CopyNet
x→∅	100	99.0	97.3
x→x	3.3	69.4	93.7
x y→xx	1.5	22.3	98.3
x y→x	2.9	40.7	68.2
x y→xy	0.0	2.6	77.5

• CopyNet은 합성 복사 작업에서 표준 Enc-Dec 및 RNNSearch보다 유의하게 우수한 성능을 보인다(표 1).
• LCSTS 중국어 요약에서 CopyNet은 기준 모델보다 더 높은 ROUGE 점수를 달성하며 +C 및 +W 변형에서 강한 향상을 보인다(표 3).
• 단일 턴 대화에서 CopyNet은 RNNSearch보다 더 높은 Top-1 및 Top-10 디코딩 정확도를 나타내며, 특히 테스트 데이터가 학습 서브스트링과 분리된 경우에 그렇다(표 4).
• CopyNet은 소스로부터 길고 어휘 외(subsequence)를 복사할 수 있어 추상적 작업(요약 및 대화)의 개방 어휘 문제를 완화한다.
• 모델은 복사 모드와 생성 모드 간의 정밀한 조정을 보여주며, 종종 연속된 입력 구간을 복사하고 생성된 콘텐츠를 삽입하여 유창한 출력물을 형성한다(그림의 사례 연구).