[논문 리뷰] Can We Read Speech Beyond the Lips? Rethinking RoI Selection for Deep Visual Speech Recognition

Yuanhang Zhang, Shuang Yang외 3명|arXiv (Cornell University)|2020. 03. 06.

Speech and Audio Processing참고 문헌 34인용 수 6

한 줄 요약

이 논문은 시각적 말하기 인식(VSR)에서 전통적으로 강조되어 온 입술 영역에 도전하며, 입술 외부의 얼굴 영역—예를 들어 뺨과 상부 얼굴—이 인식 성능을 크게 향상시킬 수 있음을 보여준다. 정렬된 얼굴 입력에 간단한 Cutout 증강 기법을 적용함으로써 모델이 입술 외부 영역에서 분류 가능한 특징을 학습하도록 유도하는 방법을 제안하며, 단어 수준 및 문장 수준의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 입술 전용 기반 모델 대비 최대 6.5% 향상된 성능을 기록한다.

ABSTRACT

Recent advances in deep learning have heightened interest among researchers in the field of visual speech recognition (VSR). Currently, most existing methods equate VSR with automatic lip reading, which attempts to recognise speech by analysing lip motion. However, human experience and psychological studies suggest that we do not always fix our gaze at each other's lips during a face-to-face conversation, but rather scan the whole face repetitively. This inspires us to revisit a fundamental yet somehow overlooked problem: can VSR models benefit from reading extraoral facial regions, i.e. beyond the lips? In this paper, we perform a comprehensive study to evaluate the effects of different facial regions with state-of-the-art VSR models, including the mouth, the whole face, the upper face, and even the cheeks. Experiments are conducted on both word-level and sentence-level benchmarks with different characteristics. We find that despite the complex variations of the data, incorporating information from extraoral facial regions, even the upper face, consistently benefits VSR performance. Furthermore, we introduce a simple yet effective method based on Cutout to learn more discriminative features for face-based VSR, hoping to maximise the utility of information encoded in different facial regions. Our experiments show obvious improvements over existing state-of-the-art methods that use only the lip region as inputs, a result we believe would probably provide the VSR community with some new and exciting insights.

연구 동기 및 목표

• 시각적 말하기 인식(VSR) 모델이 입술 외부의 얼굴 영역에서 유의미한 정보를 얻을 수 있는지, 오랫동안 지속된 입술 운동만이 정보가 있다고 보는 가정을 도전하기 위해.
• 다양한 데이터셋과 작업에서 입술, 전체 얼굴, 상부 얼굴, 뺨 등의 서로 다른 얼굴 영역이 VSR 성능에 기여하는 정도를 평가하기 위해.
• 모델이 입술 외부 얼굴 영역에서 강건하고 분류 가능한 특징을 학습하도록 유도하는 단순하면서도 효과적인 데이터 증강 방법을 개발하기 위해.
• 명시적인 입술 영역 자르기(cropping)에 대한 의존도를 줄이고, 인간의 시각적 스캐닝 행동과 더 잘 부합하는 보다 통합적인 얼굴 기반 접근 방식을 촉진하기 위해.

제안 방법

• 저자들은 입력 프레임의 정사각형 영역을 무작위로 마스킹하는 데이터 증강 기법인 Cutout을 사용하여, 훈련 중 모델이 입술 외부 얼굴 영역에 주의를 기울이도록 유도한다.
• 공간 일관성을 확보하기 위해 얼굴 랜드마크를 사용해 입력 얼굴를 정렬하고, RoI는 전체 얼굴, 입술, 상부 얼굴, 뺨 등으로 정의하여 각 영역의 성능를 비교한다.
• 시간적 모델링을 위해 양방향 GRU를 사용하는 ResNet-34 백본을 사용하며, 단어 수준(LRW) 및 문장 수준(GRID, LRW-1000) 벤치마크에서 엔드 투 엔드로 훈련한다.
• 모델의 주의 집중을 해석하고 예측에 중요한 얼굴 영역을 식별하기 위해 정합도 지도(saliency maps)와 시공간 마스킹을 사용한다.
• 암시적 주의 메커니즘(예: CBAM)이 유사한 성능 향상을 달성할 수 있는지 평가하기 위해 주의 기반 RoI 선택 기법과 비교한다.
• 머리 자세 변화에 대한 내성 강도를 테스트하기 위해 다양한 자세 조건(yaw 회전) 하에서 성능을 평가한다.

Figure 1: Common practices for RoI selection in VSR. To date, there is no clear consensus on a best practice, resulting in very different RoIs in different works (see Sec. II-A ). Top row: examples of frames from talking face videos. Bottom row: some examples of cropped RoIs in prior work, from left

실험 결과

연구 질문

• RQ1 입술 외부의 얼굴 영역, 예를 들어 뺨이나 상부 얼굴 등이 시각적 말하기 인식 모델의 성능 향상에 기여할 수 있는가?
• RQ2 Cutout을 통한 데이터 증강이 입술 외부의 시각적 신호에 주의를 기울이게 하여 모델의 일반화 성능을 향상시키는가?
• RQ3 다양한 단어 수준 및 문장 수준의 VSR 작업에서 서로 다른 얼굴 영역이 인식 성능에 어떤 기여를 하는가?
• RQ4 복잡한 주의 메커니즘보다 단순한 증강 기법인 Cutout이 입술 외부의 시각적 말하기 특징을 학습하는 데 더 효과적인가?
• RQ5 실제 환경에서 머리 자세 변화에 대한 제안된 방법의 내성 강도는 어떠한가?

주요 결과

• Cutout 증강 모델은 LRW-1000 데이터셋에서 45.24%의 정확도를 기록했으며, 입술 전용 기반 모델(38.64%) 대비 6.5% 향상된 성능을 보였다.
• 7×7 크기의 패치 하나만 가림되어도 Cutout 모델은 2% 미만으로 성능 저하를 보였고, 일반 모델은 최대 40%까지 성능 저하를 보여, 입술 외부 영역에서의 가림에 대한 강건성을 입증했다.
• 정합도 지도 분석 결과, Cutout 모델은 입술 외에도 뺨, 눈썹, 상부 얼굴에 주의를 기울이며, 입술 외부 영역에서 효과적인 특징 학습을 이룬 것으로 나타났다.
• Cutout으로 훈련된 모델는 자세 변화에 대해 강건한 성능을 유지했으며, 쉬운 및 중간 자세 조건(yaw ≥ 20° 및 ≥ 40°)에서 기준 모델 대비 약 2% 향상된 성능을 기록했다.
• 시공간 마스킹 분석 결과, 뺨과 상부 얼굴 등 입술 외부 영역이 예측에 상당한 기여를 하며, 이러한 영역이 가려지면 성능이 10% 이상 저하되는 것으로 확인되었다.
• Cutout 증강 모델은 CBAM 증강 모델보다 성능이 뛰어나, 명시적 주의 메커니즘이 입술 외부의 미세한 신호를 단순한 데이터 증강 기법만큼 효과적으로 포착하지 못함을 시사한다.

Figure 2: Illustration of the sub-face RoIs defined in this paper. We train baselines on the whole face (blue), the upper face (purple), the cheeks (orange), and the mouth (red).