[논문 리뷰] Twin Networks: Matching the Future for Sequence Generation

Dmitriy Serdyuk, Nan Rosemary Ke외 4명|arXiv (Cornell University)|2017. 08. 22.

Speech Recognition and Synthesis참고 문헌 40인용 수 30

한 줄 요약

이 논문은 생성적 RNN에 대한 학습 정규화 기법인 TwinNet을 소개한다. 이 기법은 역방향 RNN을 사용해 역순으로 시퀀스를 예측하고, 정방향 및 역방향 은닉 상태를 정렬함으로써 장기적 의존성 모델링을 향상시킨다. 이 방법은 음성 인식에서 9%의 상대적 향상과 이미지 캡션 생성에서의 뚜렷한 성능 향상을 이끌어내며, 추론 시 비용이 거의 들지 않아 후행 학습 단계에서 역방향 네트워크를 제거하기 때문이다.

ABSTRACT

We propose a simple technique for encouraging generative RNNs to plan ahead. We train a "backward" recurrent network to generate a given sequence in reverse order, and we encourage states of the forward model to predict cotemporal states of the backward model. The backward network is used only during training, and plays no role during sampling or inference. We hypothesize that our approach eases modeling of long-term dependencies by implicitly forcing the forward states to hold information about the longer-term future (as contained in the backward states). We show empirically that our approach achieves 9% relative improvement for a speech recognition task, and achieves significant improvement on a COCO caption generation task.

연구 동기 및 목표

• 자기회귀적 시퀀스 생성에서 장기적 의존성을 모델링하는 데 어려움이 있는데, 이는 일반적으로 한 단계 앞서 예측하는 학습 목표로 인해 국소적 상관관계에 집중하기 때문이다.
• 정방향 RNN이 향후 내용을 암묵적인 계획을 통해 예측하도록 유도하여 생성된 시퀀스의 전반적 일관성을 향상시키는 것.
• 추론 또는 샘플링 복잡도를 변화시키지 않는 단순하고 효율적인 정규화 방법을 개발하는 것.
• 음성 인식, 이미지 캡션 생성, 언어 모델링, 순차적 MNIST 생성을 포함한 다양한 작업에서 이 방법의 실증적 검증을 수행하는 것.

제안 방법

• 정방향 네트워크와 파rameter 공유 없이 별도의 역방향 RNN을 학습하여 입력 시퀀스를 역순으로 예측한다.
• 시간 t에서의 정방향 은닉 상태가 동일한 시간 단계에서의 역방향 은닉 상태와 일치하도록 유도하는 정규화 손실을 도입한다.
• 학습된 거리 측도 또는 L2 거리 측도를 사용해 정방향 및 역방향 은닉 상태 간의 정렬 손실을 계산한다.
• 표준 교차 엔트로피 손실(시퀀스 생성을 위한)과 정방향 및 역방향 상태 간의 정렬 손실을 합친 목적 함수를 최적화한다.
• 추론 및 샘플링 단계에서는 역방향 네트워크를 제거하여 원래 모델의 효율성을 유지한다.
• 음성-텍스트 변환, 이미지 캡션 생성, 언어 모델링, 순차적 MNIST와 같은 조건부 및 비조건부 생성 작업에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 정방향 및 역방향 RNN 은닉 상태를 정렬하는 것이 시퀀스 생성에서 장기적 의존성을 향상시키는 데 기여하는가?
• RQ2 이 정규화 기법은 추론 비용을 증가시키지 않으면서도 생성된 시퀀스의 전반적 일관성을 향상시키는가?
• RQ3 이 방법은 국소적 상관관계가 강한 작업을 포함한 다양한 시퀀스 생성 작업에서 어떻게 성능을 내는가?
• RQ4 정렬 손실은 언어 모델링과 같은 고엔트로피 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 PixelRNN나 WaveNet과 같이 샘플링 비용이 높은 모델에 이 방법을 효과적으로 적용할 수 있는가?

주요 결과

• TwinNet는 음성 인식 작업에서 9%의 상대적 향상을 달성하여 장기적 의존성 모델링 능력이 향상됨을 입증했다.
• COCO 이미지 캡션 생성 작업에서 성능 향상이 뚜렷하게 나타나 생성된 캡션의 전반적 일관성이 향상됨을 시사한다.
• 순차적 MNIST에서 TwinNet는 기준 LSTM 대비 테스트 세트 손실을 0.52 nats 감소시켰으며, 드롭아웃과 조합했을 때 성능 향상이 더욱 두드러졌다.
• Penn Treebank 및 WikiText-2에서 TwinNet는 AWD-LSTM 대비 테스트 퍼플렉서티를 0.5–0.9 포인트 감소시켜 언어 모델링에서 일관된 성능 향상을 보였다.
• 정렬 손실은 단어 빈도와 음의 상관관계를 보였으며, 희귀하거나 더 놀라운 단어에 대해 더 높은 정규화 효과를 가짐을 시사한다.
• 추론 단계에서 역방향 네트워크를 제거하여 기준 모델과 동일한 계산 비용을 유지했으며, 이는 고비용 자기회귀 모델에 적합한 방법임을 의미한다.