[논문 리뷰] Enforcing Encoder-Decoder Modularity in Sequence-to-Sequence Models

Siddharth Dalmia, Abdelrahman Mohamed외 3명|arXiv (Cornell University)|2019. 11. 09.

Algorithms and Data Compression참고 문헌 27인용 수 11

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC) 손실을 사용하여 인코더 출력을 사전에 정의된 해석 가능한 어휘 공간으로 이산화시켜 인코더-디코더 모듈 간의 모ularity를 강제하는 방법을 제안한다. 이로써 독립적이고 상호 교환 가능하며 명확한 인터페이스를 가진 모듈을 구현할 수 있으며, 전체적으로 미분 가능성을 유지하면서 Switchboard에서 8.3%, CallHome에서 17.6%의 경쟁적인 WER를 달성한다. 이는 모ularity가 성능을 저하시키지 않음을 보여준다.

ABSTRACT

Inspired by modular software design principles of independence, interchangeability, and clarity of interface, we introduce a method for enforcing encoder-decoder modularity in seq2seq models without sacrificing the overall model quality or its full differentiability. We discretize the encoder output units into a predefined interpretable vocabulary space using the Connectionist Temporal Classification (CTC) loss. Our modular systems achieve near SOTA performance on the 300h Switchboard benchmark, with WER of 8.3% and 17.6% on the SWB and CH subsets, using seq2seq models with encoder and decoder modules which are independent and interchangeable.

연구 동기 및 목표

• 표준 엔드 투 엔드 seq2seq 모델에서 어텐션과 공동 최적화를 통해 인코더와 디코더가 밀접하게 결합되어 있어 모듈성이 부족한 문제를 해결하기 위해.
• 인코더 출력을 이산적이고 현실 세계의 어휘 공간에 기반시켜 인코더와 디코더 모듈 간에 명확하고 해석 가능한 인터페이스를 제공하기 위해.
• 모델 성능을 저하시키지 않으면서도 인코더와 디코더 구성 요소가 상호 독립적이고 상호 교환 가능하도록 보장하기 위해.
• 모ularity를 강제함과 동시에 전체적인 미분 가능성을 유지하여 기울기 기반 학습과 전이 학습이 가능하도록 하기 위해.
• 다양한 작업과 도메인 간에 모듈화된 앙상블과 구성 요소 재사용을 가능하게 하기 위해.

제안 방법

• CTC 손실을 인코더 출력에 적용하여 표현을 사전에 정의된 어휘 공간으로 이산화함으로써, 구조적이고 해석 가능한 인터페이스를 강제한다.
• CTC 손실과 디코더의 토큰 수준 교차 엔트로피 손실을 함께 최적화하여 엔드 투 엔드 시스템의 전체적인 미분 가능성을 유지한다.
• 디코더의 어텐션 메커니즘을 수정하여 인코더의 확률 분포 또는 순위 기반 가설을 입력으로 수락하게 하여 모듈화된 통합을 가능하게 한다.
• 빔 서치를 사용하여 확률 점수 또는 순위를 디코더의 입력으로 제공함으로써, 디코더가 인코더 출력을 이산 기호의 확률적 시퀀스로 간주할 수 있도록 한다.
• 인코더를 타겟과 정렬된 이산 시퀀스를 생성하도록 학습시키고, 디코더는 이 이산 표현에서 자동으로 순차적으로 출력을 생성하도록 한다.
• 개별 인코더와 디코더 구성 요소를 학습한 후 순열을 통해 조합함으로써 모듈화된 앙상블을 가능하게 하여 모델 다양성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 성능을 저하시키지 않으면서도 기울기 가능(seq2seq) 모델에서 인코더-디코더 모ularity를 강제할 수 있는가?
• RQ2 CTC 손실을 통한 인코더 출력의 이산화가 인코더와 디코더 구성 요소 간에 더 명확하고 해석 가능한 인터페이스를 가능하게 하는가?
• RQ3 독립적으로 학습된 인코더와 디코더 모듈이 성능 저하 없이 상호 교환 가능한가?
• RQ4 모듈화 설계가 모델의 해석 가능성, 이식 가능성, 앙상블 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법이 Switchboard 및 CallHome과 같은 표준 벤치마크에서 경쟁적인 자동 음성 인식 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 300시간 분량의 Switchboard 벤치마크에서 8.3%의 단어 오류율(WER)을 달성했고, CallHome 서브셋에서는 17.6%를 기록하여 최고 수준의 성능에 근접한다.
• 독립적으로 학습된 인코더와 디코더 구성 요소를 사용한 모듈화된 모델은 교환해도 높은 성능를 유지하여 강력한 상호 교환 가능성을 입증한다.
• CTC 손실과 교차 엔트로피 손실의 공동 최적화를 통해 전체 시스템이 완전히 미분 가능성을 유지하며, 엔드 투 엔드 학습이 가능하다.
• 4개 모델(2개 인코더 × 2개 디코더)을 사용한 모듈화된 앙상블은 Switchboard에서 WER를 7.7%로 감소시키고 CallHome에서는 15.8%로 낮추어 기존 앙상블을 능가한다.
• CTC를 통해 실제 어휘 공간에 기반한 인코더 출력은 분석 및 측정이 독립적으로 가능하다.
• 디코더를 이산 기호 위의 기울기 가능 빔 서치 모듈로 간주함으로써, 인코더 출력의 후처리 편집이 가능해진다.