[논문 리뷰] Visual speech recognition: aligning terminologies for better understanding

Helen L. Bear, Sarah Taylor|arXiv (Cornell University)|2017. 10. 03.

Speech and Audio Processing참고 문헌 16인용 수 3

한 줄 요약

이 논문은 시각적 말하기 인식 연구 분야에서 용어와 지표의 일관성 문제를 다루며, 입술만을 대상으로 하는 '입문독독( lips-only)'과 얼굴 전체 및 신체를 포함하는 '말하기 읽기(full face/body)'의 차이를 명확히 하고, 화자 독립성에 대한 표준 정의를 제안하며, 특히 상위 하나 정답 정확도와 역확률 점수를 강조하여 기계적 입술 읽기 시스템의 벤치마크 공정성과 분야 간 비교 가능성 향상을 위한 통합된 성능 지표를 권장한다.

ABSTRACT

We are at an exciting time for machine lipreading. Traditional research stemmed from the adaptation of audio recognition systems. But now, the computer vision community is also participating. This joining of two previously disparate areas with different perspectives on computer lipreading is creating opportunities for collaborations, but in doing so the literature is experiencing challenges in knowledge sharing due to multiple uses of terms and phrases and the range of methods for scoring results. In particular we highlight three areas with the intention to improve communication between those researching lipreading; the effects of interchanging between speech reading and lipreading; speaker dependence across train, validation, and test splits; and the use of accuracy, correctness, errors, and varying units (phonemes, visemes, words, and sentences) to measure system performance. We make recommendations as to how we can be more consistent.

연구 동기 및 목표

• 시각적 말하기 인식 연구에서 '입문독독'과 '말하기 읽기'와 같은 용어의 비일관된 사용으로 인해 발생하는 문헌 내 혼동을 해결하기 위해.
• 기계적 입술 읽기 시스템에서 화자 의존성 및 화자 독립성의 개념을 명확히 하고, 특히 학습, 검증, 테스트 분할 설계에서의 평가 방법을 명확히 하기 위해.
• 성능 평가 지표의 표준화를 위해, 음소, 비세임, 단어, 문장 단위에서 정확도, 정확성, 오류 보고의 일관된 사용을 권장하기 위해.
• 컴퓨터 비전 및 음성 처리 분야 간의 협업을 향상시키기 위해 성능 보고를 위한 통합된 표기법을 제안하기 위해.
• 분류 출력의 의미 있는 해석을 보장하기 위해 상위 다섯 개 결과와 함께 상위 하나 정답 정확도를 보고하도록 장려하기 위해.

제안 방법

• 해부학적 및 인지적 증거(근육 섬유 연결 및 시각적 신호 통합 포함)를 바탕으로 입술만을 대상으로 하는 입문독독과 얼굴 전체 및 신체까지 포함하는 말하기 읽기의 차이를 구분하기 위해.
• 화자 독립성을 일반화된 새로운 화자에 대한 성능으로 정의하고, 학습에 사용된 화자들을 포함하지 않는 테스트 세트가 필요함을 명시하기 위해.
• 상위 하나 또는 상위 다섯 개 예측에서 정확도가 계산되는지 명확히 표시하는 새로운 성능 보고 표기법을 도입하기 위해.
• 실제 인식 과제의 과제를 더 잘 반영하기 위해 직접 분류(예: '이 클래스는 무엇입니까?')가 아닌 역확률 점수(예: '이 클래스가 X입니까?')의 사용을 권장하기 위해.
• 번역 결과의 의미적 정합성을 확보하기 위해 상위 다섯 개 결과를 보고할 때 상위 하나 정답 정확도를 함께 포함할 것을 주장하기 위해.
• 재현 가능성을 강조하기 위해 개방형 데이터 및 코드 공유를 장려하거나, 최소한 상세한 데이터 기술을 제공하도록 권장하기 위해.

실험 결과

연구 질문

• RQ1 시각적 말하기 인식 분야에서 '입문독독'과 '말하기 읽기'라는 용어는 의미와 적용에서 어떻게 다를지, 그리고 이러한 구분이 중요한 이유는 무엇인가요?
• RQ2 기계적 입술 읽기 시스템에서 화자 독립성은 무엇으로 정의되며, 학습, 검증, 테스트 분할에서 어떻게 적절히 평가될 수 있나요?
• RQ3 성능 지표 선택, 특히 상위 하나 정답 정확도 대비 상위 다섯 정답 정확도의 선택이 시각적 말하기 인식 시스템 평가에 중요한 이유는 무엇인가요?
• RQ4 용어와 지표 보고의 비일관성은 컴퓨터 비전 및 음성 처리 분야 간 협업을 어떻게 방해할 수 있나요?
• RQ5 표준화된 용어와 성능 보고를 통해 벤치마크 및 재현 가능성에서 어떤 개선을 이룰 수 있을까요?

주요 결과

• '입문독독'과 '말하기 읽기'라는 용어는 종종 상호 교환적으로 사용되지만, '입문독독'은 엄밀히 말해 입술만을 분석하는 것을 의미하고, '말하기 읽기'는 얼굴 전체 및 신체적 신호까지 포함한다.
• 입술 읽기에서 화자 독립성은 학습 세트에 포함되지 않은 화자에서 테스트가 이루어져야 하며, 그렇지 않으면 일반화 능력이 없는 화자 의존 시스템이 되어 성능이 떨어진다.
• 상위 다섯 정답 정확도는 말하기 인식에서 오해의 소지가 있다. 작은 음소적 변화(예: /s/ 대비 /m/)는 의미를 크게 바꾸므로, 상위 하나 정답 정확도가 더 의미 있는 정보를 제공한다.
• 직접 분류(예: '이 클래스는 무엇입니까?')가 아닌 역확률 점수(예: '이 클래스가 X입니까?')를 보고하면 더 객관적이고 공정한 성능 평가가 가능하다.
• 혼동 행렬 분석 결과, 음소 및 비세임의 혼동은 매우 맥락에 민감하며, 상위 다섯 예측에는 의미적으로 잘못되었지만 청각적으로 유사한 대체어가 포함되는 경우가 많다.
• 제안된 표기법과 상위 다섯 결과와 함께 상위 하나 정답 정확도를 보고할 것을 권장하는 조치는 연구 간 비교 가능성을 향상시키고, 실제 소음 환경에서의 강건하고 화자 독립적인 시스템 개발을 지원할 수 있다.