[논문 리뷰] Rethinking Perturbations in Encoder-Decoders for Fast Training

Sho Takase, Shun Kiyono|arXiv (Cornell University)|2021. 04. 05.

Natural Language Processing Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 순서-순서 작업을 위한 신경망 인코더-디코더 모델에서 다양한 편향 기법의 계산 효율성과 성능을 평가한다. 간단한 방법들인 단어 드롭아웃과 무작위 토큰 교체가 복잡한 기법들인 스케줄링 샘플링과 적대적 편향보다 유사하거나 더 뛰어난 성능을 보이며, 훨씬 더 빠른 속도를 기록함으로써 시간 제약이 있는 훈련 환경에서 더 나은 선택임을 밝혀낸다.

ABSTRACT

We often use perturbations to regularize neural models. For neural encoder-decoders, previous studies applied the scheduled sampling (Bengio et al., 2015) and adversarial perturbations (Sato et al., 2019) as perturbations but these methods require considerable computational time. Thus, this study addresses the question of whether these approaches are efficient enough for training time. We compare several perturbations in sequence-to-sequence problems with respect to computational time. Experimental results show that the simple techniques such as word dropout (Gal and Ghahramani, 2016) and random replacement of input tokens achieve comparable (or better) scores to the recently proposed perturbations, even though these simple methods are faster. Our code is publicly available at https://github.com/takase/rethink_perturbations.

연구 동기 및 목표

• 최근의 편향 기법들이 순서-순서 모델에서 계산 비용과 효과성을 평가하기 위해.
• 스케줄링 샘플링과 적대적 훈련과 같은 복잡한 편향 기법들이 높은 계산 오버헤드를 유발함에도 불구하고 실제로 필수적인지 조사하기 위해.
• 더 단순하고 빠른 편향 기법들이 최첨단 방법들과 유사한 성능을 달성할 수 있는지 평가하기 위해.
• 단순한 편향 기법들이 향후 신경망 인코더-디코더 모델 연구를 위한 강력하고 효율적인 기준이 될 수 있음을 경험적으로 입증하기 위해.
• 훈련 비용을 줄이기 위해 순서-순서 훈련에서 경량 편향 기법을 기본 기준으로 사용하도록 장려하기 위해.

제안 방법

• 연구는 세 가지 주요 편향 유형을 비교한다: 단어 교체(예: 스케줄링 샘플링), 단어 드롭아웃(랜덤하게 토큰 마스킹), 그리고 적대적 편향(임bedding 공간에서의 기울기 기반 편향).
• 단어 교체의 경우, 균일한(Rep(Uni)) 및 단순 샘플링(Rep(Sim)) 전략을 평가하며, 토큰들이 어휘에서 랜덤하게 선택된 것으로 교체된다.
• 단어 드롭아웃은 훈련 중에 입력 토큰을 <UNK> 토큰으로 무작위로 마스킹함으로써 적용되며, 이는 이전에 언어 모델링에서 사용된 기법이다.
• 적대적 편향은 가상의 적대적 훈련(VAT)을 사용하여 구현되며, 손실를 최대화하기 위해 임베딩 공간에서 기울기 상승을 통해 편향을 계산한다.
• 실험은 트랜스포머 기반 모델을 사용하여 기계 번역(WMT 영어-독어), 문법 오류 수정(BEA), 개괄 요약(CNN/DM)에서 수행된다.
• 모든 방법은 공정한 비교를 위해 동일한 훈련 조건에서 평가되며, 훈련 시간과 모델 성능(BLEU, BLEU-2, BERTScore)을 측정한다.

실험 결과

연구 질문

• RQ1 스케줄링 샘플링과 적대적 훈련과 같은 최근의 복잡한 편향 기법들이 실용적 사용에 충분히 계산 효율적인가?
• RQ2 단어 드롭아웃과 무작위 토큰 교체와 같은 더 단순하고 빠른 편향 기법들이 고급 방법들과 유사한 성능을 달성할 수 있는가?
• RQ3 유사한 모델 성능을 달성할 때, 다양한 편향 전략의 훈련 시간은 어떻게 비교되는가?
• RQ4 단순한 편향 기법의 효과성은 번역, 요약, 문법 오류 수정과 같은 다양한 순서-순서 작업 간에 달라지는가?
• RQ5 단순한 편향 기법들이 향후 신경망 인코더-디코더 모델 연구를 위한 강력하고 효율적인 기준이 될 수 있는가?

주요 결과

• WMT 영어-독어 번역 작업에서 단어 드롭아웃(WDrop)과 무작위 교체(Rep(Uni) + WDrop)는 훈련 시간이 제한된 상황에서도 적대적 편향(Adv)과 유사한 BLEU 점수를 달성했다.
• 저자원 환경에서는 적대적 편향이 높은 BLEU 점수를 기록했지만, 유사한 훈련 시간이 주어지면 단순한 방법들이 이를 거의 따라잡았다.
• Rep(Sim) 방법은 다른 편향 전략들에 비해 뛰어난 강건성을 보이며 일반화 능력이 뛰어나다는 것을 시사했다.
• 단어 드롭아웃과 무작위 교체와 같은 단순한 편향 기법들은 스케줄링 샘플링과 적대적 훈련보다 훨씬 빠르며, 훈련 오버헤드를 줄였다.
• BEA 문법 오류 수정 데이터셋에서 Rep(Uni) + WDrop와 Rep(Sim) + WDrop는 Adv와 동등한 성능을 기록했으며, 이는 단순한 방법들이 번역 외의 분야에서도 효과적임을 확인했다.
• 저자들은 편향 없이 훈련된 기본 모델의 성능이 이전 연구보다 略로 떨어지는 것으로 관찰했으며, 이는 훈련의 무작위성 때문일 가능성이 높지만, 모든 편향 기법들이 이 기본 모델보다 성능을 향상시켰다.