[논문 리뷰] Deja-vu: Double Feature Presentation in Deep Transformer Networks.

Andros Tjandra, Chunxi Liu외 6명|arXiv (Cornell University)|2019. 10. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 4

한 줄 요약

이 논문은 중간 모델 헤드와 손실 함수를 통해 여러 층에서 입력 특징을 재사용하는 딥 트랜스포머 아키텍처를 제안한다. 이는 네트워크가 진화하는 가설을 바탕으로 원시 특징을 재검토할 수 있도록 한다. 본 방법은 다중 깊이 특징 재사용과 층별 지도 학습을 조합함으로써 Librispeech에서 10–20%의 상대적 WER 향상과 대규모 영상 데이터셋에서 3.2–13%의 향상을 달성한다.

ABSTRACT

Deep acoustic models typically receive features in the first layer of the network, and process increasingly abstract representations in the subsequent layers. Here, we propose to feed the input features at multiple depths in the acoustic model. As our motivation is to allow acoustic models to re-examine their input features in light of partial hypotheses we introduce intermediate model heads and loss function. We study this architecture in the context of deep Transformer networks, and we use an attention mechanism over both the previous layer activations and the input features. To train this model's intermediate output hypothesis, we apply the objective function at each layer right before feature re-use. We find that the use of such intermediate losses significantly improves performance by itself, as well as enabling input feature re-use. We present results on both Librispeech, and a large scale video dataset, with relative improvements of 10 - 20% for Librispeech and 3.2 - 13% for videos.

연구 동기 및 목표

• 깊이 있는 트랜스포머 음성 인식 모델의 성능을 향상시키기 위해, 네트워크의 여러 깊이에서 입력 특징을 재검토할 수 있도록 하는 것.
• 기본 트랜스포머에서 특징을 한 번만 처리하는 한계를 해결하기 위해, 초기 단계의 특징이 재방문되지 않는 문제를 해결하는 것.
• 중간 지도 학습과 특징 재사용이 표현 학습과 모델 성능 향상에 기여하는지 탐색하는 것.
• 제안된 아키텍처가 Librispeech와 대규모 영상 데이터셋을 포함한 다양한 ASR 벤치마크에서 효과적인지 평가하는 것.

제안 방법

• 이전 층의 활성화와 원본 입력 특징을 모두 기반으로 하여, 여러 층에서 중간 모델 헤드를 도입해 가설을 생성하는 것.
• 특징 재사용 전에 각 중간 층에서 모델의 진화하는 예측을 지도하기 위해 손실 함수를 적용하는 것.
• 이전 층의 활성화와 입력 특징을 모두 고려하는 어텐션 메커니즘을 사용하여, 맥락 기반 재검토를 가능하게 하는 것.
• 중간 출력을 통해 기울기 흐름을 허용하는 엔드 투 엔드의 다중 깊이 지도 학습으로 네트워크를 훈련하는 것.
• 메인 모델의 순전파를 수정하지 않고도 특징 재사용을 가능하게 하여 계산 효율성을 유지하는 아키텍처 설계

실험 결과

연구 질문

• RQ1 다양한 깊이에서 입력 특징을 재사용하는 것이 깊이 있는 트랜스포머 ASR 모델의 성능 향상에 기여하는가?
• RQ2 층별 손실을 통한 중간 지도 학습을 도입하면 정확도와 일반화 능력이 향상되는가?
• RQ3 이전 활성화와 입력 특징을 모두 어텐션하는 방식이 표현 품질에 어떤 영향을 미치는가?
• RQ4 이 아키텍처는 노이즈가 많거나 복잡한 음성 데이터를 포함한 다양한 ASR 데이터셋에 어떤 영향을 미치는가?

주요 결과

• 제안된 아키텍처는 표준 트랜스포머 대비 Librispeech 벤치마크에서 10–20%의 상대적 WER 향상을 달성한다.
• 대규모 영상 데이터셋에서는 3.2–13%의 상대적 WER 감소를 보이며, 다양한 도메인 간 강력한 일반화 능력을 입증한다.
• 중간 손실만으로도 성능 향상이 크게 이루어지며, 이는 다중 깊이 지도 학습이 학습 역학을 향상시킨다는 것을 시사한다.
• 입력 특징과 히든 상태를 모두 어텐션하는 방식을 통해 특징 재사용이 원시 입력을 맥락 기반으로 재조정하여 가설을 정교화할 수 있음을 보여준다.