[논문 리뷰] Sequence-to-Sequence Natural Language to Humanoid Robot Sign Language

Jennifer J. Gago, Valentina Vasco외 5명|arXiv (Cornell University)|2019. 07. 09.

Human Pose and Action Recognition참고 문헌 12인용 수 6

한 줄 요약

이 논문은 자연어 텍스트를 스페인 수어(LSE) 토큰으로 번역하여 인간형 로봇 TEO가 실행할 수 있도록 하는 시퀀스-투-시퀀스 신경망 모델을 제안한다. RealSense D435를 사용한 맞춤형 3D 스켈레톤 획득 파이프라인과 LSTM 기반의 시퀀스-투-시퀀스 아키텍처를 활용하여, 외장형 기기 없이도 최소한의 오류로 정확한 수어 번역을 달성하였으며, 외장형 기기 없이 인간-로봇 수어 상호작용을 위한 실현 가능한 엔드 투 엔드 솔루션을 입증하였다.

ABSTRACT

This paper presents a study on natural language to sign language translation with human-robot interaction application purposes. By means of the presented methodology, the humanoid robot TEO is expected to represent Spanish sign language automatically by converting text into movements, thanks to the performance of neural networks. Natural language to sign language translation presents several challenges to developers, such as the discordance between the length of input and output data and the use of non-manual markers. Therefore, neural networks and, consequently, sequence-to-sequence models, are selected as a data-driven system to avoid traditional expert system approaches or temporal dependencies limitations that lead to limited or too complex translation systems. To achieve these objectives, it is necessary to find a way to perform human skeleton acquisition in order to collect the signing input data. OpenPose and skeletonRetriever are proposed for this purpose and a 3D sensor specification study is developed to select the best acquisition hardware.

연구 동기 및 목표

• 자율형 수어 번역을 위한 외장형 기기 없는 엔드 투 엔드 시스템을 개발하기 위해.
• 수어 번역에서 문법적 구조의 차이와 비수도적 표정의 문제를 해결하기 위해.
• 신경 시퀀스 모델을 사용하여 TEO 로봇에서 실시간으로 정확한 수어 생성을 가능하게 하기 위해.
• 규칙 기반 또는 통계적 한계를 피하기 위해 시퀀스-투-시퀀스 모델을 수어 번역에 적용할 수 있는지의 타당성을 평가하기 위해.
• 실시간 수어 동작 추적을 위한 OpenPose와 최적화 기법을 활용한 견고한 3D 스켈레톤 획득 파이프라인을 구축하기 위해.

제안 방법

• 256개의 LSTM 유닛과 소프트맥스 출력층을 갖춘 시퀀스-투-시퀀스 LSTM 모델을 사용하며, 카테고리형 교차 엔트로피 손실과 β=0.9인 RMSprop 옵timizer를 사용하여 학습한다.
• 입력 및 출력 시퀀스는 단어 수준에서 토크나이징되며, 구두점에 대한 특수 토큰이 포함되며, 원-핫 벡터로 인코딩된다.
• 실시간 3D 스켈레톤 복원 파이프라인은 RGB-D 데이터에서 관절 위치를 추출하기 위해 OpenPose와 skeletonRetriever를 사용하며, 부족한 시야를 고려한 Ipopt 최적화를 통해 가림을 견고하게 처리한다.
• 고해상도, 깊이 정확도(2 mm), 최적의 깊이 범위(0.2–10 m)를 고려하여 RealSense D435 센서를 선택하였다.
• 예측된 LSE 토큰 시퀀스를 TEO 로봇 동작 명령어로 매핑하기 위해 룩업 테이블(LUT)을 사용한다.
• 시스템은 20% 교차 검증 분할을 사용하며, 학습률 0.0001과 0.001로 100 에포크 동안 학습한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 신경망이 아키텍처 제약을 최소화하면서 자연어를 스페인 수어 토큰으로 효과적으로 번역할 수 있는가?
• RQ2 말하는 언어의 어순과 수어의 어순 간의 구조적 불일치는 시스템에서 어떻게 처리되는가?
• RQ3 외장형 기기 없이 카메라 기반의 3D 스켈레톤 추적 시스템이 실시간으로 정확한 수어 동작을 복원하는 데 얼마나 효과적인가?
• RQ4 질문, 명령문, 서술문 등 다양한 문장 유형에 대해 높은 토큰 수준 정확도로 모델이 일반화 가능한가?
• RQ5 최적화된 스켈레톤 추적과 신경 번역의 통합이 로봇 수어 생성의 전체적인 견고성을 어떻게 향상시키는가?

주요 결과

• 시퀀스-투-시퀀스 모델은 LSE 토큰 시퀀스 예측에서 높은 정확도를 달성하였으며, 'Bien', 'Dormir', 'Colegio', 'Edad Cuántos'와 같은 핵심 어휘에 대해 정확한 예측을 하였다.
• 모델은 질문과 명령문을 포함한 복잡한 문장 구조를 성공적으로 번역하였으며, LSE 어순(주어-목적어-동사)에 맞게 어순 재정렬을 정확히 수행하였다.
• 해상도, 깊이 정확도(2 mm), 작동 범위(0.2–10 m)의 균형을 고려하여 RealSense D435 센서가 최적의 선택으로 확인되었다.
• OpenPose와 Ipopt 최적화를 활용한 스켈레톤 복원 파이프라인은 자기 가림과 노이즈가 많은 깊이 데이터를 효과적으로 처리하여 실시간 성능을 달성하였다.
• 학습률 α=0.0001로 학습한 결과, 그림 7에 나타난 학습 및 교차 검증 손실 곡선을 통해 안정적인 수렴이 이루어졌다.
• 외장형 기기 없이 엔드 투 엔드 수어 번역의 타당성이 입증되었으며, 주목적 기반 기법과 RNN을 활용한 확장 가능성도 보였다.