[논문 리뷰] Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22

Laia Tarrés, Gerard I. Gállego외 2명|arXiv (Cornell University)|2022. 12. 02.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 WMT-SLT 2022 챌린지에서 스위스 독일어 수어(Swiss German Sign Language, DSGS) 비디오를 독일어 텍스트로 번역하기 위한 Fairseq 기반 Transformer 모델을 제시한다. 어휘 크기, 데이터 증강, PHOENIX-14T에서의 사전학습을 시험했음에도 불구하고 테스트 세트에서 BLEU 점수는 0.50에 불과하여 베이스라인보다 0.38 BLEU 향상되었지만, 데이터 부족과 과제의 복잡성으로 인해 극도로 열악한 성능을 보이고 있음을 시사한다.

ABSTRACT

This paper describes the system developed at the Universitat Politècnica de Catalunya for the Workshop on Machine Translation 2022 Sign Language Translation Task, in particular, for the sign-to-text direction. We use a Transformer model implemented with the Fairseq modeling toolkit. We have experimented with the vocabulary size, data augmentation techniques and pretraining the model with the PHOENIX-14T dataset. Our system obtains 0.50 BLEU score for the test set, improving the organizers' baseline by 0.38 BLEU. We remark the poor results for both the baseline and our system, and thus, the unreliability of our findings.

연구 동기 및 목표

• 제한된 비디오 및 텍스트 데이터를 사용한 저자원 수어 번역(SLT) 문제를 해결하기 위해.
• 저자원 환경에서 어휘 크기, 데이터 증강, PHOENIX-14T에서의 사전학습의 효과를 평가하기 위해.
• 광범위하게 사용되는 자연어 처리 툴킷인 Fairseq를 활용해 Transformer 모델을 구현하고, 수어 비디오에서 텍스트로의 번역을 위한 벤치마크를 수립하기 위해.
• FocusNews와 SRF 데이터셋 간 도메인 차이가 모델 성능에 미치는 영향을 조사하기 위해.
• 전이학습과 대체 입력 표현 방식(예: 그래프 기반 자세 모델링)의 SLT 적용 가능성 탐색하기 위해.

제안 방법

• Fairseq 툴킷을 사용해 6층, 8헤드, 2048 피드포워드 차원, 512 임bedding 크기를 가진 Transformer 인코더-디코더 아키텍처를 구현하였다.
• 입력으로 MediaPipe 3D 키포인트 시계열(x, y, z)을 사용하였으며, [0,1] 범위로 정규화하고 삼차보간을 통해 25 fps로 재샘플링하였다.
• 각 데이터셋 별로 별도의 어휘를 구축하였으며, 문장 수가 더 많은 SRF의 독일어 자막을 기반으로 어휘를 구성하였다.
• SRF 데이터셋에 대해 데이터 증강을 적용하여 훈련 샘플을 인위적으로 증가시켰지만, 계산 비용으로 인해 광범위한 실험은 제한되었다.
• PHOENIX-14T 데이터셋을 사용해 사전학습을 尝시했지만 성능 향상은 관찰되지 않았다.
• 자세 그래프의 구조를 더 잘 모델링하기 위해 그래프 신경망(GNN) 접근법을 고려했으나, 시간과 자원 제약으로 인해 구현하지 못했다.

실험 결과

연구 질문

• RQ1 저자원 SLT 환경에서 어휘 크기를 증가시키면 번역 품질이 향상되는가?
• RQ2 제한된 데이터로 인한 수어 번역에서 데이터 증강 기법이 BLEU 점수를 상당히 향상시킬 수 있는가?
• RQ3 더 큰 관련 SLT 데이터셋(PHOENIX-14T)에서의 사전학습이 WMT-SLT 2022 테스트 세트에서의 일반화 능력을 향상시키는가?
• RQ4 베이스라인 및 본 연구 시스템의 열악한 성능은 비디오 시간 대 고유 어휘 수의 비율이 낮기 때문인가?
• RQ5 I3D 특징 또는 그래프 기반 자세 모델링과 같은 대체 입력 표현 방식이 표준 1D 키포인트 시계열보다 성능이 뛰어나지 않는가?

주요 결과

• 제안된 시스템은 테스트 세트에서 BLEU 점수 0.50을 기록하였으며, 대회 조직자 제공 베이스라인 대비 0.38 BLEU 향상되었다.
• FocusNews 데이터셋에서만 훈련된 베이스라인 모델이 가장 높은 성능를 보였으며, 이는 FocusNews와 SRF 간 도메인 차이가 공동 훈련을 방해할 수 있음을 시사한다.
• 어휘 크기 조정이 테스트 성능에 유의미한 영향을 주지 않아, 어휘 규모보다 데이터 품질과 분포가 더 중요할 수 있음을 시사한다.
• 체크포인트 평균화가 성능 향상에 기여하지 않아, 모델 안정성이나 최적화 동역학이 주요 병목 요소가 아니라는 것을 시사한다.
• 극도로 낮은 BLEU 점수(0에 가까운 수준)는 모델이 오직 가장 빈번한 단어들만 학습하고 있음을 시사하며, 수어 비디오 입력에서 의미 있는 번역을 생성하지 못하고 있음을 나타낸다.
• WMT-SLT 2022 데이터셋의 비디오 지속시간 대 고유 어휘 수 비율은 How2Sign(4.93)이나 PHOENIX-14T(3.67)와 비교해 극도로 낮은 0.84–0.90 수준이었으며, 이는 과제의 복잡성이 더 높음을 시사한다.