[논문 리뷰] Transfer Learning for British Sign Language Modelling

Boris Mocialov, Graham Turner외 1명|arXiv (Cornell University)|2020. 06. 03.

Hand Gesture Recognition Systems참고 문헌 35인용 수 8

한 줄 요약

이 논문은 영어 언어 모델을 미리 훈련시킨 후 전이 학습을 통해 브리티시 술어어(Penn Treebank)와 유사한 영어 언어 모델을 사용하여 브리티시 술어어(British Sign Language, BSL)의 글로스 언어 모델링을 향상시키는 것을 제안한다. 미세조정과 계층 교체를 통해 퍼즐러피티(perplexity)를 낮추며, 문법적 차이가 있음에도 불구하고, Penn Treebank에서 미리 훈련된 모델과 BSL 데이터에서 미세조정된 모델은 직접 훈련된 모델보다 성능이 뛰어나 전이 학습이 자원이 적은 술어어에 대해 타당함을 보여준다.

ABSTRACT

Automatic speech recognition and spoken dialogue systems have made great advances through the use of deep machine learning methods. This is partly due to greater computing power but also through the large amount of data available in common languages, such as English. Conversely, research in minority languages, including sign languages, is hampered by the severe lack of data. This has led to work on transfer learning methods, whereby a model developed for one language is reused as the starting point for a model on a second language, which is less resourced. In this paper, we examine two transfer learning techniques of fine-tuning and layer substitution for language modelling of British Sign Language. Our results show improvement in perplexity when using transfer learning with standard stacked LSTM models, trained initially using a large corpus for standard English from the Penn Treebank corpus

연구 동기 및 목표

• 브리티시 술어어(British Sign Language, BSL)처럼 대규모 애너테이션 코퍼스가 부족한 술어어 모델링에서의 데이터 부족 문제를 해결한다.
• 고자원 언어(예: 영어)에서 전이 학습을 통해 저자원 술어어의 언어 모델링 성능을 향상시킬 수 있는지 조사한다.
• BSL 글로스 시퀀스에 대해 두 가지 전이 학습 기법—미세조정과 계층 교체—의 효과를 평가하여 퍼즐러피티 감소에 대한 효능을 파악한다.
• 초기에는 영어 텍스트에서 훈련된 신경망 언어 모델을 사용하여 술어어의 글로스 수준 전사에 적용할 수 있는지 타당성을 평가한다.
• 전이 학습이 말하기 언어와 술어어 처리 간 격차를 메우는 데 기여할 잠재력을 탐색하여 听覚 장애인을 위한 더 접근 가능한 인간-컴퓨터 상호작용을 가능하게 한다.

제안 방법

• 대규모 영어 텍스트 코퍼스인 Penn Treebank(PTB) 데이터셋에서 깊이 있는 신경망 언어 모델을 사전 훈련하여 일반적인 언어 패턴을 학습한다.
• BSL 글로스 단일 언어 코퍼스를 사용하여 사전 훈련된 모델을 미세조정하며, BSL 훈련 데이터를 사용해 모든 모델 가중치를 업데이트한다.
• 계층 교체를 구현하기 위해 사전 훈련된 모델의 최종 계층을 새로운 무작위 초기화된 계층으로 교체하고, 나머지 네트워크를 동결한 채로 오직 새로운 계층만 미세조정한다.
• 사전 훈련 및 미세조정 단계 모두에서 스택형 장기 단기 기억(LSTM)과 피드포워드 신경망(FFNN) 아키텍처를 사용한다.
• 퍼즐러피티를 주요 평가 지표로 사용하여, BSL 테스트 세트에서 전이 학습 모델과 직접 훈련된 모델의 성능을 비교한다.
• 비디오 애너테이션을 사용한 술어어를 HamNoSys 유사 표기법을 사용해 글로스 시퀀스로 변환함으로써 BSL 코퍼스를 사전 처리하여 기존의 술어어 전사 표준과 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 영어와 같은 고자원 언어에서 전이 학습을 통해 저자원 술어어인 브리티시 술어어(British Sign Language)의 언어 모델링 성능을 향상시킬 수 있는가?
• RQ2 BSL 글로스 시퀀스에 적용했을 때, 미세조정과 계층 교체는 퍼즐러피티 감소와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 영어 텍스트에서의 사전 훈련이 문법적·구조적 차이가 있음에도 불구하고 BSL 언어 모델링의 데이터 부족 문제를 어느 정도 완화할 수 있는가?
• RQ4 사전 훈련된 모델을 사용할 경우, 무작위 초기화에서 훈련하는 것보다 BSL 테스트 데이터에서 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ5 텍스트 기반 자연어 처리(NLP)를 위한 전이 학습 기법을 시퀀스적 구조를 가지는 술어어 글로스를 모델링하는 데 효과적으로 적용할 수 있는가?

주요 결과

• 전이 학습은 BSL 테스트 세트에서 퍼즐러피티를 크게 감소시켰다: 미세조정된 LSTMs는 직접 훈련된 모델 대비 퍼즐러피티 125.32를 기록했다.
• 미세조정된 FFNN 모델은 퍼즐러피티 123.92를 기록하여 직접 훈련된 모델(258.10)을 능가했으며, 이는 피드포워드 아키텍처에서도 전이 학습의 효과성을 입증한다.
• 계층 교체 역시 경쟁 가능한 성능을 보였으며, LSTMs의 경우 퍼즐러피티 121.46를 기록하여 대부분의 가중치를 동결하고 마지막 계층만 훈련하는 것이 전체 미세조정에 비해 효율적인 대안이 될 수 있음을 시사한다.
• 영어와 BSL 간의 문법적 차이가 있음에도 불구하고, 사전 훈련된 영어 모델의 어휘 커버리지(12.71% OOV)는 의미 있는 전이를 가능하게 하여 글로스 수준에서 공통된 어휘 및 문법 패턴이 존재할 가능성을 시사한다.
• 최신 기준 성능보다 낮은 결과를 기록한 것은 제한된 훈련 에포크(100회)와 고급 정규화 기법의 부재로 인한 것으로 보이며, 향후 최적화를 통해 성능 향상 여지가 있음을 시사한다.
• 본 연구는 원천 언어와 목표 언어의 구조적 차이가 크더라도 전이 학습이 저자원 술어어에 대해 타당한 접근법임을 입증하였으며, 향후 술어어 NLP 분야의 연구를 위한 길을 열었다.