[논문 리뷰] BBC-Oxford British Sign Language Dataset

Samuel Albanie, Gül Varol외 9명|arXiv (Cornell University)|2021. 11. 05.

Hand Gesture Recognition Systems인용 수 13

한 줄 요약

이 논문은 영국 방송국 BBC의 방송 영상 1,962편에 포함된 영국 수어(British Sign Language, BSL) 해설과 해당하는 영어 자막을 포함한 대규모 데이터셋인 BBC-Oxford 영국 수어(BOBSL) 데이터셋을 소개한다. 이 데이터셋은 수어 인식, 정렬, 번역 분야의 연구를 가능하게 하며, 기준 성능 기준선과 모델 개발의 신뢰성 향상을 위한 주요 편향 및 제약 조건을 제시한다.

ABSTRACT

In this work, we introduce the BBC-Oxford British Sign Language (BOBSL) dataset, a large-scale video collection of British Sign Language (BSL). BOBSL is an extended and publicly released dataset based on the BSL-1K dataset introduced in previous work. We describe the motivation for the dataset, together with statistics and available annotations. We conduct experiments to provide baselines for the tasks of sign recognition, sign language alignment, and sign language translation. Finally, we describe several strengths and limitations of the data from the perspectives of machine learning and linguistics, note sources of bias present in the dataset, and discuss potential applications of BOBSL in the context of sign language technology. The dataset is available at https://www.robots.ox.ac.uk/~vgg/data/bobsl/.

연구 동기 및 목표

• 수어 처리 모델 훈련 및 평가를 위한 대규모 공개 데이터셋 부족 문제를 해결하기 위해.
• BBC 방송에서 촬영한 영국 수어(BSL) 영상과 정렬된 영어 자막을 포함한 종합적이고 공개 가능한 데이터셋을 제공하기 위해.
• 수어 인식, 수어 정렬, 수어 번역 작업을 위한 기준 모델과 평가 프로토콜을 수립하기 위해.
• 데이터 내 편향의 원인을 식별하고 문서화하여 책임감 있는 연구 및 모델 개발을 이끌기 위해.
• 수어 가상 비서 및 수어 사전 검색 인터페이스와 같은 실용적 응용 프로그램 개발을 지원하기 위해.

제안 방법

• 전문 수어 해설가가 참여한 BBC 방송 영상에서 데이터셋을 구축하였으며, 영상의 해상도는 444×444, 프레임 속도는 25 fps로 촬영하였다.
• 자동 수어 탐지 및 국소화 기법을 사용하여 수어의 경계를 식별한 후, 수동 검증 및 문장 수준의 자막 정렬을 수행하였다.
• 수어자 간 독립적인 평가를 보장하기 위해 수어자 기반으로 훈련, 검증, 테스트 세트로 분할하였다.
• 자막을 이용한 문장 추출을 수행하였으며, 누락되거나 일치하지 않는 수어를 보완하기 위해 수동 애너테이션을 실시하였다.
• 세 가지 작업(수어 인식, 수어 문장 정렬, 수어 번역)에 대해 기준 모델을 훈련하고 평가하였다.
• 테스트 세트 구축을 위해 반자동 '제안 및 검증' 파이프라인을 사용하여 애너테이션 효율성을 높였지만, 분포 편향이 발생할 수 있다는 점을 감수하였다.

실험 결과

연구 질문

• RQ1 현재 모델들은 대규모 BSL 영상 데이터셋 내 고립된 수어를 얼마나 효과적으로 인식할 수 있는가?
• RQ2 자동 정렬 기법은 얼마나 정확하게 BSL 수어 시퀀스를 해당하는 영어 자막과 정렬할 수 있는가?
• RQ3 뉴럴 기계 번역 모델은 BSL 영상 입력에서 정확한 영어 번역을 얼마나 잘 생성할 수 있는가?
• RQ4 방송 기반 데이터와 자동 애너테이션 파이프라인을 사용할 경우 수어 데이터셋에 어떤 편향이 발생하는가?
• RQ5 인구 통계적 불균형과 방송 콘텐츠에서의 비자연스러운 수어 표현 방식은 모델의 일반화 능력과 실제 적용 성능에 어떤 영향을 미치는가?

주요 결과

• BOBSL 데이터셋은 총 426개의 텔레비전 프로그램에서 1,962편의 영상로 구성되어 있으며, 약 1,467시간의 BSL 영상, 120만 개의 정렬된 문장, 39명의 수어자가 포함되어 있다.
• 수어자 간 독립적인 평가를 가능하게 하기 위해 수어자 간 중복 없이 훈련, 검증, 테스트 세트로 분할하였다.
• 기준 모델은 수어 인식, 정렬, 번역 작업에서 측정 가능한 성능을 달성하여 향후 연구의 기초를 마련하였다.
• 수동 애너테이션 결과, 자막에 포함된 모든 단어가 수어로 표현된 것은 아니며, 일부 오래된 또는 부적절한 수어가 특히 테스트 세트에서 발견되었다.
• 데이터셋은 심각한 편향을 보이며, 대화형 수어가 아닌 방송 스타일 수어에 국한되어 있고, 자동 애너테이션은 명확한 입모양과 높은 시각적 가시도를 가진 수어를 선호한다.
• 반자동 애너테이션 파이프라인은 효율성을 높였지만, 분포 편향을 유발하여 테스트 세트 성능이 실제 환경에서의 견고성과 다를 수 있음을 시사한다.