[논문 리뷰] 3D Feature Pyramid Attention Module for Robust Visual Speech Recognition

Jingyun Xiao|arXiv (Cornell University)|2018. 10. 15.

Speech and Audio Processing참고 문헌 20인용 수 4

한 줄 요약

이 논문은 공간적 및 시간적 차원을 통해 다중 척도 특징을 학습 가능한 주의 메커니즘을 통해 융합함으로써 시각적 말하기 인식에서 시공간적 특징 표현을 향상시키는 3D 특징 피라미드 주의(3D-FPA) 모듈을 제안한다. 이 모듈은 LipNet에서 단어 오류율을 3.6% 향상시키고, 단어 수준 모델에서 정확도를 1.4% 향상시켜 유사 발음 또는 짧은 지속 시간을 가진 단어에 대해 뛰어난 내성성을 입증한다.

ABSTRACT

Visual speech recognition is the task to decode the speech content from a video based on visual information, especially the movements of lips. It is also referenced as lipreading. Motivated by two problems existing in lipreading, words with similar pronunciation and the variation of word duration, we propose a novel 3D Feature Pyramid Attention (3D-FPA) module to jointly improve the representation power of features in both the spatial and temporal domains. Specifically, the input features are downsampled for 3 times in both the spatial and temporal dimensions to construct spatiotemporal feature pyramids. Then high-level features are upsampled and combined with low-level features, finally generating a pixel-level soft attention mask to be multiplied with the input features.It enhances the discriminative power of features and exploits the temporal multi-scale information while decoding the visual speeches. Also, this module provides a new method to construct and utilize temporal pyramid structures in video analysis tasks. The field of temporal featrue pyramids are still under exploring compared to the plentiful works on spatial feature pyramids for image analysis tasks. To validate the effectiveness and adaptability of our proposed module, we embed the module in a sentence-level lipreading model, LipNet, with the result of 3.6% absolute decrease in word error rate, and a word-level model, with the result of 1.4% absolute improvement in accuracy.

연구 동기 및 목표

• 유사 발음 단어를 구별하는 데 어려움을 겪는 시각적 말하기 인식의 과제를 해결한다.
• 충분한 시간적 맥락이 없는 짧은 지속 시간의 단어를 개선한다.
• 다중 척도 공간적 및 시간적 정보를 활용하여 구분 능력 있는 특징 표현을 향상시킨다.
• 비디오 분석 작업에서 시간 피라미드 구조를 구성하는 일반화 가능한 방법을 개발한다.
• 3D-FPA 모듈의 효과성을 다양한 립리딩 아키텍처와 데이터셋에서 입증한다.

제안 방법

• 입력 특징을 공간적 및 시간적 차원에서 각각 3배로 다운샘플링하여 3D 특징 피라미드를 구축한다.
• 고수준 특징을 사용하여 특징 융합 및 채널 별 주의를 통해 픽셀 수준의 소프트 주의 마스크를 생성한다.
• 주의 마스크를 업샘플링하고 저수준 특징과 융합하여 특징 표현을 정밀화한다.
• 스케일 간 특징 학습을 이끌기 위해 ResNet 블록 이전 및 내부에 3D-FPA 모듈을 통합한다.
• 정합 분할에서의 2D FPA 메커니즘을 시간 차원으로 확장하여 3D 비디오 작업에 적응시킨다.
• 표준 최적화(SGD, 학습률 0.003, 모멘터 0.9)를 사용해 모델을 엔드 투 엔드로 훈련하고, LRW 코퍼스에서는 드롭아웃 없이 배치 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 3D 특징 피라미드 주의 메커니즘은 특히 유사 발음 단어에 대해 시각적 말하기 인식의 구분 능력을 향상시킬 수 있는가?
• RQ2 제안된 3D-FPA 모듈은 짧은 지속 시간의 단어에 대해 다중 척도 시간 맥락을 얼마나 효과적으로 포착하는가?
• RQ3 3D-FPA 모듈은 다양한 립리딩 아키텍처(LipNet 및 CRNL 등)에서 성능 향상에 어느 정도 기여하는가?
• RQ4 주의와 함께 시간 피라미드 구조를 통합하면 영상 이해 작업에서 일반화 능력이 향상되는가?
• RQ5 어떤 유형의 단어가 3D-FPA 모듈을 통해 정확도 향상에서 가장 큰 이점을 얻는가?

주요 결과

• GRID 코퍼스에서 평가한 문장 수준의 LipNet 모델에서 3D-FPA 모듈은 단어 오류율을 3.6% 감소시켰다.
• 단어 수준의 CRNL 모델에서 네 개의 모듈을 사용할 경우 정확도가 77.8%에서 79.26%로 향상되어 1.46%의 절대적 향상이 이루어졌다.
• 유사한 발음 끝말을 가진 단어, 예를 들어 'Difference'와 'Different'는 정확도가 72%에서 88%로 향상되어 가장 높은 정확도 향상을 보였다.
• 'Million'과 'Billion' 같은 단어는 정확도가 64%에서 76%로 12% 향상되어 초기 음소 차이를 더 잘 구분함을 시사했다.
• 'Under'(31%에서 38%)와 'Could'(48%에서 51%)와 같은 짧은 단어에서도 일관된 향상이 관찰되어 일반적으로 인식이 어려운 단어에 효과적임을 보였다.
• 시작 프레임이나 종료 프레임에서 미세한 시각적 차이를 보이는 단어, 예를 들어 'Taking'과 'Taken'을 구별하는 데 3D-FPA 모듈이 특히 효과적이었다.