[논문 리뷰] Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Photo-Realistic Sign Language Production

Ben Saunders, Necati Cihan Camgöz외 1명|arXiv (Cornell University)|2022. 03. 29.

Hand Gesture Recognition Systems인용 수 6

한 줄 요약

이 논문은 프레임 선택 네트워크(FS-Net)를 사용해 사전에 등재된 사전 표시어 간의 공음화(co-articulation)를 학습하고, 새로운 관절 기반 손실을 갖춘 포즈 조건부 GAN인 SignGAN을 통해 고해상도의 사진처럼 생긴 수어 영상을 생성하는 확장 가능한, 사진처럼 생긴 수어 생성 시스템을 제안한다. 이 방법은 PHOENIX14 T에서의 역역행 번역 성능에서 최신 기술 수준(SOTA)을 달성하며, 기준 방법 대비 청각 장애인 사용자들 사이에서 현실감과 이해도 면에서 압도적으로 선호된다.

ABSTRACT

Sign languages are visual languages, with vocabularies as rich as their spoken language counterparts. However, current deep-learning based Sign Language Production (SLP) models produce under-articulated skeleton pose sequences from constrained vocabularies and this limits applicability. To be understandable and accepted by the deaf, an automatic SLP system must be able to generate co-articulated photo-realistic signing sequences for large domains of discourse. In this work, we tackle large-scale SLP by learning to co-articulate between dictionary signs, a method capable of producing smooth signing while scaling to unconstrained domains of discourse. To learn sign co-articulation, we propose a novel Frame Selection Network (FS-Net) that improves the temporal alignment of interpolated dictionary signs to continuous signing sequences. Additionally, we propose SignGAN, a pose-conditioned human synthesis model that produces photo-realistic sign language videos direct from skeleton pose. We propose a novel keypoint-based loss function which improves the quality of synthesized hand images. We evaluate our SLP model on the large-scale meineDGS (mDGS) corpus, conducting extensive user evaluation showing our FS-Net approach improves co-articulation of interpolated dictionary signs. Additionally, we show that SignGAN significantly outperforms all baseline methods for quantitative metrics, human perceptual studies and native deaf signer comprehension.

연구 동기 및 목표

• 제한된 도메인 외의 자유분량의 수어 표현을 위한 공음화되고 사진처럼 생긴 수어 영상 생성의 부족을 해결하기 위해.
• 사전에 등재된 표시어 간의 시간적 프로소디(temporal prosody)를 모델링하여 합성된 수어의 자연스러움과 이해도를 향상시키기 위해.
• 기존의 날씨 보고서와 같은 제한된 도메인 데이터셋을 넘어서 일반화 가능한 확장 가능한 수어 생성 시스템(SLP)을 개발하기 위해.
• 특히 운동 왜곡 상황에서의 손 이미지 합성 품질을 향상시키기 위해.
• 현장에서의 청각 장애인 수어 사용자들을 대상으로 한 종합적인 평가를 통해 시스템의 효과성을 검증하기 위해.

제안 방법

• 사전에 등재된 표시어와 연속적인 수어 시퀀스 간 최적의 시간적 정렬 경로를 학습하기 위해, 동적 시간 왜곡(DTW)으로 감독되는 교차 어텐션을 갖춘 트랜스포머 인코더를 사용하는 프레임 선택 네트워크(FS-Net)를 제안한다.
• 해부적 뼈대 포즈 시퀀스에서 사진처럼 생긴 수어 영상을 생성하기 위한 포즈 조건부 비디오-투-비디오 합성 모델인 SignGAN을 도입한다.
• 손의 이미지 품질 향상과 합성 과정에서의 운동 왜곡 아티팩트를 줄이기 위해 관절 키포인트 공간에서 작동하는 새로운 관절 기반 손실 함수를 설계한다.
• 실제 수어 사용자의 외모 임베딩을 활용해 다양한 수어 스타일을 모델링하기 위한 다중 모odal, 제어 가능한 비디오 생성 프레임워크를 구현한다.
• 두 단계 파이프라인을 활용한다: 첫 번째 단계는 텍스트-투-글로스 번역, 두 번째 단계는 FS-Net을 통한 글로스-투-공음화된 포즈 변환, 마지막으로 SignGAN을 통한 포즈-투-비디오 변환.
• 자연어의 자유도가 높은 도메인으로의 일반화를 가능하게 하기 위해 대규모 mDGS 코퍼스를 활용해 훈련 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 사전에 등재된 표시어 간의 공음화를 학습하여 매끄럽고 연속적인 수어 시퀀스를 생성할 수 있는가?
• RQ2 포즈 조건부 GAN이 실제 데이터와 구분이 가지 않는 사진처럼 생긴 수어 영상을 생성할 수 있는가?
• RQ3 관절 기반 손실 함수가 수어 영상 생성에서 손의 합성 품질을 크게 향상시키는가?
• RQ4 제안된 SLP 시스템이 날씨 보고서를 넘어서 대규모 자유도가 높은 도메인의 수어 표현에 일반화될 수 있는가?
• RQ5 생성된 사진처럼 생긴 콘텐츠가 기존의 뼈대 기반 표현 방식보다 청각 장애인 수어 사용자들에게 더 이해하기 쉬운가?

주요 결과

• FS-Net은 청각 장애인 사용자 평가를 통해, 보조 기반 방법 대비 압도적으로 선호되는 결과를 보이며, 보간된 사전 표시어의 공음화를 크게 향상시켰다.
• SignGAN은 이전 방법 대비 PHOENIX14 T 벤치마크에서 역역행 번역 성능에서 43% 향상되어 의미적 정밀도가 매우 높음을 시사한다.
• 인지 평가 연구에서 SignGAN은 신체의 현실감에 대해 96.2%의 경우, 손의 현실감에 대해 95.6%의 경우 기준 모델보다 선호되었으며, Vid2vid가 가장 강력한 기준 모델로 85.9%의 선호도를 기록했다.
• 합성된 사진처럼 생긴 영상은 청각 장애인 참가자들로부터 3.9점(5점 만점)의 이해도 평가를 기록했으며, 이는 뼈대 기반 시퀀스(3.2/5점)보다 유의미하게 높은 결과로 이해도 향상을 입증했다.
• 관절 기반 손실은 FID를 39.33(기준)에서 27.75로 감소시키고, 손의 SSIM을 0.582에서 0.605로 상승시켜 손의 합성 품질 향상을 확인했다.
• SignGAN은 C4A 데이터셋에서 정량적 메트릭(FID, SSIM, 손 SSIM)과 인간 인지 평가 연구에서 모든 최신 기술 수준의 방법을 초월했다.