[논문 리뷰] Modeling Intensification for Sign Language Generation: A Computational Approach

Mert İnan, Yang Zhong외 3명|arXiv (Cornell University)|2022. 03. 17.

Hand Gesture Recognition Systems인용 수 1

한 줄 요약

이 논문은 어휘(annotation)에 언어 수준의 강조 수식어를 추가하여 수신자 언어 생성에서 강조의 강도를 모델링하기 위한 데이터 기반 계산적 접근을 제안한다. PHOENIX-14T의 일부에 대해 지도 학습 기반의 강조 태거를 사용하여 저자들은 전체 데이터셋에 강조 레이블을 확장하고, 프로그레시브 트랜스포머 모델을 미세조정함으로써 자동 평가 지표 향상과 더불어 더 정확한 억양을 반영하는 생성된 서브영상에 대한 인간의 선호도가 향상됨을 확인하였다.

ABSTRACT

End-to-end sign language generation models do not accurately represent the prosody in sign language. A lack of temporal and spatial variations leads to poor-quality generated presentations that confuse human interpreters. In this paper, we aim to improve the prosody in generated sign languages by modeling intensification in a data-driven manner. We present different strategies grounded in linguistics of sign language that inform how intensity modifiers can be represented in gloss annotations. To employ our strategies, we first annotate a subset of the benchmark PHOENIX-14T, a German Sign Language dataset, with different levels of intensification. We then use a supervised intensity tagger to extend the annotated dataset and obtain labels for the remaining portion of it. This enhanced dataset is then used to train state-of-the-art transformer models for sign language generation. We find that our efforts in intensification modeling yield better results when evaluated with automatic metrics. Human evaluation also indicates a higher preference of the videos generated using our model.

연구 동기 및 목표

• 엔드 투 엔드 수신자 언어 생성 모델에서 억양의 다양성이 부족한 문제, 특히 강조 수식어를 표현하지 못하는 문제를 해결하기 위해.
• 수신자 언어의 억양 원리에 기반한 언어학적 전략을 통해 어휘 어노테이션에 강조 조절자(예: 'very', 'little')를 인코딩하는 방법을 규명하기 위해.
• PHOENIX-14T 데이터셋의 어노테이션되지 않은 부분에 강조 레이블을 확장할 수 있는 지도 학습 기반 강조 태거를 개발하기 위해.
• 강조 향상된 어휘 어노테이션을 최신 트랜스포머 모델에 통합하여 수신자 영상 생성 품질을 향상시키기 위해.
• 강조 모델링이 자동 평가 지표와 인간 평가를 통한 생성된 수신자 언어 영상의 인지적 품질에 미치는 영향을 평가하기 위해.

제안 방법

• 수신자 언어 억양의 언어학적 및 인지과학 원리를 기반으로 PHOENIX-14T의 일부를 강조 수준(예: 낮음, 중간, 높음)으로 어노테이션한다.
• 어노테이션된 부분을 사용하여 지도 학습 기반 강조 태거를 훈련시어 나머지 어노테이션되지 않은 어휘 어노테이션에 대한 강조 수준을 예측한다.
• 어휘 어노테이션에 강조 태그를 추가하여 전체 PHOENIX-14T 데이터셋을 강화하고, 새로운 풍부한 학습 자원을 생성한다.
• 강조 태그를 입력 컨텍스트로 포함하여 강화된 데이터셋을 사용해 프로그레시브 트랜스포머(PT) 모델을 미세조정한다.
• 입력 어휘의 강조 수준에 따라 생성된 수신자 자세를 동적으로 선택하는 새로운 메커니즘을 제안한다.
• 자동 평가 지표(BLEU, METEOR, ROUGE, CIDER)와 영상 품질 및 강조 표현에 대한 인간 평가를 통해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 언어학 원리를 활용하여 어휘 어노테이션에 수신자 언어의 강조 수식어를 체계적으로 모델링하고 표현할 수 있는가?
• RQ2 어휘 어노테이션에 강조 태그를 추가하면 수신자 언어 생성에서 자동 평가 지표가 얼마나 향상되는가?
• RQ3 강조 모델링이 인간 평가자에게서 더 나은 인지적 품질의 수신자 언어 영상로 이어지는가?
• RQ4 강조 인식 모델은 기준 모델 대비 생성된 수신자 영상에서 의미적 강조를 얼마나 잘 유지하는가?
• RQ5 n-gram 기반 평가 지표는 수신자 언어 생성에서 강조 표현을 평가할 때 어떤 실패 모드를 보이는가?

주요 결과

• 강화된 모델은 '강조 포함' 테스트 세트에서 BLEU, METEOR, ROUGE, CIDER의 모든 자동 평가 지표에서 100%를 기록했으며, 기준 모델은 55.7–81.9%를 기록했다.
• 인간 평가 결과, 강조 향상 모델로 생성된 영상에 대해 유의미하게 더 높은 선호도가 나타나, 개선된 인지적 품질과 억양을 의미한다.
• 정성적 분석에서 모델은 30%의 경우에서 강조 수식어를 정확히 표현했으며, 의미적 강조를 유지하는 데서 기준 모델보다 뛰어난 성능을 보였다.
• 개선에도 불구하고 자동 평가 지표가 더 나은 강조 표현을 보상하지 못하는 경우가 23% 발생하여 지표의 한계를 드러냈다.
• 모델은 3%의 경우에서 강조 수식어를 잘못 생성(홀로그램화)하는 경우가 있었으며, 강조 태깅에서 과도한 생성 위험이 있음을 시사한다.
• 본 연구는 언어학적으로 근거를 둔 강조 모델링이 수신자 언어 생성의 정량적 및 정성적 성과를 크게 향상시킬 수 있음을 입증한다.