[논문 리뷰] Quantitative Survey of the State of the Art in Sign Language Recognition

Oscar Koller|arXiv (Cornell University)|2020. 08. 22.

Hand Gesture Recognition Systems참고 문헌 278인용 수 58

한 줄 요약

이 논문은 수치적 조사를 통해 수화 인식 접근법의 모달리티 사용을 결과 전반에 걸쳐 조명하고, Table S6는 어휘 크기에 따른 26가지 모달리티 조합과 그 상대적 빈도를 상세히 보여준다.

ABSTRACT

This work presents a meta study covering around 300 published sign language recognition papers with over 400 experimental results. It includes most papers between the start of the field in 1983 and 2020. Additionally, it covers a fine-grained analysis on over 25 studies that have compared their recognition approaches on RWTH-PHOENIX-Weather 2014, the standard benchmark task of the field. Research in the domain of sign language recognition has progressed significantly in the last decade, reaching a point where the task attracts much more attention than ever before. This study compiles the state of the art in a concise way to help advance the field and reveal open questions. Moreover, all of this meta study's source data is made public, easing future work with it and further expansion. The analyzed papers have been manually labeled with a set of categories. The data reveals many insights, such as, among others, shifts in the field from intrusive to non-intrusive capturing, from local to global features and the lack of non-manual parameters included in medium and larger vocabulary recognition systems. Surprisingly, RWTH-PHOENIX-Weather with a vocabulary of 1080 signs represents the only resource for large vocabulary continuous sign language recognition benchmarking world wide.

연구 동기 및 목표

• 게시된 결과에서 사용된 수화 인식 모달리티의 분포를 평가한다
• 모달리티 선택이 어휘 크기(예: 부호 수)에 따라 어떻게 달라지는지 정량화한다
• 문헌에서 가장 널리 사용되는 수동(manual) 및 비수동(non-manual) 파라미터 조합을 식별한다
• SLR 실험을 위한 모달리티를 선택하는 연구자들에게 간략한 참고 자료를 제공한다

제안 방법

• 정의된 어휘 범위를 가진 게시된 수화 인식 결과를 수집한다
• 각 결과를 사용된 모달리티 조합으로 분류한다(Loc, Mov, Shape, Orient, Joints, Fullframe, Depth, Motion)
• 각 어휘 범위 내에서 각 모달리티 조합의 상대 빈도를 계산한다
• 모달리티의 보편성을 보여주는 요약 통계(예: Table S6)를 제시한다
• 공유 부록 자료에 나타난 절단이나 데이터 품질 문제를 주의한다

실험 결과

연구 질문

• RQ1 수화 인식 연구에서 가장 일반적으로 사용되는 모달리티 조합은 무엇인가?
• RQ2 모델링된 어휘 크기가 증가함에 따라 모달리티 사용은 어떻게 달라지는가?
• RQ3 어휘 범위에 걸쳐 전체 프레임(fullframe) 대비 표적 손/형태/방향성 모달리티의 상대적 보급은 어느 정도인가?
• RQ4 문헌에서 수동(manual) 대 비수동(non-manual) 파라미터 사용에 뚜렷한 경향이 있는가?

주요 결과

• Table S6는 어휘 범위 내에서 가장 자주 사용되는 26가지 모달리티 조합과 그 상대적 빈도를 보고한다.
• 결과는 같은 어휘 범위 내 모든 결과를 기준으로 한 백분율로 제시된다.
• 예시로: 어휘가 1000 부호를 초과하는 모델링 결과 중 39%가 전체 프레임 모달리티에 전적으로 의존하고, 7%는 손 형태 모달리티에 의존한다.