[논문 리뷰] On Sparsifying Encoder Outputs in Sequence-to-Sequence Models

Biao Zhang, Ivan Titov외 1명|Zurich Open Repository and Archive (University of Zurich)|2020. 04. 24.

Topic Modeling참고 문헌 30인용 수 7

한 줄 요약

이 논문은 변환기 기반의 시퀀스-투-시퀀스 모델에서 성능 저하 없이 인코더 출력의 최대 70%를 정규화할 수 있는 미분 가능한 스파arsity 유도 레이어인 L₀ Drop을 제안한다. 확률적 게이트에 L₀ 페널티를 적용함으로써, 비정보성인 소스 표현—특히 기능어와标 punctuations—를 마스킹하는 방법을 통해 요약 작업에서 디코딩 속도를 최대 1.65배 빠르게 하면서도 경쟁 가능한 생성 품질을 유지한다.

ABSTRACT

Sequence-to-sequence models usually transfer all encoder outputs to the decoder for generation. In this work, by contrast, we hypothesize that these encoder outputs can be compressed to shorten the sequence delivered for decoding. We take Transformer as the testbed and introduce a layer of stochastic gates in-between the encoder and the decoder. The gates are regularized using the expected value of the sparsity-inducing L0penalty, resulting in completely masking-out a subset of encoder outputs. In other words, via joint training, the L0DROP layer forces Transformer to route information through a subset of its encoder states. We investigate the effects of this sparsification on two machine translation and two summarization tasks. Experiments show that, depending on the task, around 40-70% of source encodings can be pruned without significantly compromising quality. The decrease of the output length endows L0DROP with the potential of improving decoding efficiency, where it yields a speedup of up to 1.65x on document summarization tasks against the standard Transformer. We analyze the L0DROP behaviour and observe that it exhibits systematic preferences for pruning certain word types, e.g., function words and punctuation get pruned most. Inspired by these observations, we explore the feasibility of specifying rule-based patterns that mask out encoder outputs based on information such as part-of-speech tags, word frequency and word position.

연구 동기 및 목표

• 시퀀스-투-시퀀스 모델의 인코더 출력이 부속적이거나 정보가 없는 표현을 제거함으로써 압축될 수 있는지 조사하기 위해.
• 디코더가 받는 인코더 상태 시퀀스의 길이를 줄여 디코딩 복잡도를 감소시키기 위해.
• 동적 인코더 출력 스파arsity를 위한 미분 가능하고 종단 간 훈련이 가능한 방법을 개발하기 위해.
• 데이터 기반 스파arsity(L₀ Drop)가 다양한 작업 간에 일반화되는지 여부를 평가하기 위해.
• 어떤 유형의 단어(예: 기능어, 구두점 등)가 선호적으로 제거되는지 분석하고, 이러한 패턴을 효율적인 추론에 활용할 수 있는지 분석하기 위해.

제안 방법

• Transformer 모델의 인코더와 디코더 사이에 위치한, 미분 가능한 스파arsity 레이어인 L₀ Drop을 도입한다.
• L₀ Drop는 바이너리 랜덤 변수인 확률적 게이트를 사용하며, 이를 통해 미분 가능한 근사화를 통해 전체 인코더 출력을 정확히 0으로 만들 수 있다.
• 스파arsity는 손실 함수에 L₀ 페널티의 기대값을 추가함으로써 유도되며, 이는 게이트 값이 0이 되도록 유도한다.
• 이 방법은 종단 간 훈련이 가능하여, 모델이 부속적인 인코더 출력을 학습하고 안전하게 제거할 수 있도록 한다.
• O(NM)에서 O(N′M)으로 복잡도를 감소시키기 위해, 비활성(비마스킹)된 인코더 상태만 참조하는 특화된 디코딩 알고리즘을 도입한다. 여기서 N′ < N이다.
• L₀ Drop의 행동 분석을 바탕으로, 품사 태그, 단어 빈도, 위치 기반 필터링(예: 홀수 위치만) 등의 기반 규칙 스파arsity 패턴을 설계한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 모델의 인코더 출력이 생성 품질 저하 없이 효과적으로 정제될 수 있는가?
• RQ2 인코더 출력을 정제함으로써 디코딩 효율성 향상이 측정 가능한가?
• RQ3 L₀ Drop 메커니즘이 선호적으로 정제하는 단어 유형(예: 기능어, 내용어 등)은 무엇인가?
• RQ4 품사 태그, 빈도, 위치 기반 등의 기반 규칙 스파arsity 패턴이 데이터 기반 L₀ Drop와 유사한 성능을 달성할 수 있는가?
• RQ5 기반 규칙 스파arsity 패턴은 기계 번역 및 요약과 같은 다양한 작업 간에 일반화되는가?

주요 결과

• WMT14 En-De에서 L₀ Drop를 사용해 최대 70%의 인코더 출력을 제거할 수 있었으며, 생성 품질에 미미한 영향을 미쳐 기준 모델과 BLEU 점수 차이가 0.5점 이내였다.
• 문서 요약 작업에서 L₀ Drop는 디코더의 효과적 입력 길이를 줄여 최대 1.65배의 디코딩 속도 향상을 달성했다.
• L₀ Drop는 기능어, 구두점, 고빈도어를 체계적으로 정제하지만, 희귀하고 내용이 풍부한 단어의 표현은 유지한다.
• 기반 규칙 패턴인 품사 태그 필터링 및 빈도 기반 정제는 번역 작업에서 L₀ Drop와 유사한 성능(예: 46.7% 스파arsity, BLEU 27.11)을 달성했지만, 요약 작업에선 일반화되지 못했다.
• 모든 짝수 위치의 인코딩을 정제하는 그룹 패턴은 CNN/Daily Mail에서 성능 저하를 야기했으며(−5.82 ROUGE-L), 작업 간 일반화가 떨어지는 것으로 나타났다.
• 희귀어를 정제하는 역 빈도 패턴은 성능이 열등했으며, 이는 빈도가 높은 단어가 정보량이 적고 더 압축 가능하다는 정보 이론적 직관을 뒷받침한다.