[논문 리뷰] Deformation Flow Based Two-Stream Network for Lip Reading

Jingyun Xiao, Shuang Yang외 3명|arXiv (Cornell University)|2020. 03. 12.

Speech and Audio Processing참고 문헌 16인용 수 4

한 줄 요약

이 논문은 인접한 영상 프레임 간의 자기지도 학습 기반 변형 흐름 추정을 통해 입술 영역의 운동 동역학을 포착하는 변형 흐름 기반 이중 스트림 네트워크(DFTN)를 제안한다. 이중 스트림 아키텍처와 이중 방향 지식 정련을 통해 원본 영상과 변형 흐름 특징을 융합함으로써, LRW(84.13%) 및 LRW-1000(41.93%) 벤치마크에서 최신 기술 수준의 성능을 달성하여, 보완적인 운동 및 외관 신호의 효과를 입증한다.

ABSTRACT

Lip reading is the task of recognizing the speech content by analyzing movements in the lip region when people are speaking. Observing on the continuity in adjacent frames in the speaking process, and the consistency of the motion patterns among different speakers when they pronounce the same phoneme, we model the lip movements in the speaking process as a sequence of apparent deformations in the lip region. Specifically, we introduce a Deformation Flow Network (DFN) to learn the deformation flow between adjacent frames, which directly captures the motion information within the lip region. The learned deformation flow is then combined with the original grayscale frames with a two-stream network to perform lip reading. Different from previous two-stream networks, we make the two streams learn from each other in the learning process by introducing a bidirectional knowledge distillation loss to train the two branches jointly. Owing to the complementary cues provided by different branches, the two-stream network shows a substantial improvement over using either single branch. A thorough experimental evaluation on two large-scale lip reading benchmarks is presented with detailed analysis. The results accord with our motivation, and show that our method achieves state-of-the-art or comparable performance on these two challenging datasets.

연구 동기 및 목표

• 인접 프레임 간의 변형 흐름을 활용하여 입술 영역의 미세한 시간적 운동 동역학을 모델링함으로써 입술 읽기 성능을 향상시키기.
• 기존 방법이 영상 프레임 간의 시공간 상관관계를 충분히 활용하지 못하는 한계를 보완하기 위해 운동 인식 모odal을 도입하기.
• 이중 스트림 브랜치 간의 이중 방향 지식 정련을 통해 지식 공유를 가능하게 하여 특징 학습을 향상시키기.
• 원본 영상과 변형 흐름에서 유용한 보완 정보를 활용하여 단어 수준의 입술 읽기 벤치마크에서 뛰어난 성능을 달성하기.

제안 방법

• 연속 영상 프레임 간의 픽셀 단위 변형 필드를 추정하는 자기지도 학습 기반 변형 흐름 네트워크(DFN)를 학습하여, 입술 영역에서의 운동을 명시적인 변형으로 표현한다.
• 변형 흐름과 원본 회색조 영상 프레임이 별도의 이중 스트림 컨볼루션 네트워크로 유입되어 특징 추출을 수행한다.
• 학습 중 이중 방향 지식 정련을 적용하여 각 스트림이 상대방의 소프트 확률 예측에서 지식을 정련함으로써 일반화 능력과 특징 학습을 향상시킨다.
• 추론 단계에서는 두 스트림의 예측을 확률 분포의 원소별 곱셈 융합을 통해 통합하여 분류 정확도를 향상시킨다.
• 모델은 ResNet 기반 백본과 중간 융합 및 지식 정련을 통한 공동 최적화를 위한 교차 엔트로피 손실을 사용한다.
• 변형 흐름은 인간 레이블이 없는 환경에서 학습된 흐름 추정 모듈을 통해 계산되며, 영상 일관성에 기반한다.

실험 결과

연구 질문

• RQ1 인접 프레임 간의 변형 흐름이 입술 운동 동역학을 효과적으로 모델링하여 입술 읽기 성능 향상에 기여할 수 있는가?
• RQ2 이중 스트림 네트워크를 통해 원본 영상과 변형 흐름 특징를 융합하면 단일 스트림 기반 모델보다 성능이 향상되는가?
• RQ3 이중 스트림 브랜치 간의 이중 방향 지식 정련이 모델 정확도와 일반화 능력을 추가로 향상시킬 수 있는가?
• RQ4 대규모 벤치마크에서 제안된 방법은 최신 기술 수준의 입술 읽기 모델과 비교해 어떤가?

주요 결과

• 제안된 DFTN은 LRW 벤치마크에서 단어 수준의 인식 정확도 84.13%를 달성하여 이전 최신 기술 수준 모델(84.07%)을 초월한다.
• 더 어려운 LRW-1000 데이터셋에서는 DFTN이 41.93%의 정확도를 기록하여 이전 방법들인 Yang19(38.19%) 및 Wang19(36.91%)를 크게 앞서 간다.
• 이중 방향 지식 정련 손실은 각 개별 스트림과 최종 융합 예측의 성능을 향상시켜 스트림 간 효과적인 지식 전이를 입증한다.
• 두 스트림의 확률 출력을 곱셈 융합하는 것이 덧셈 융합이나 중간 특징 융합보다 더 높은 정확도를 제공함으로써 보완적인 정보가 있음을 시사한다.
• 자기지도 학습 기반 DFN은 레이블이 없는 운동 데이터 없이도 의미 있는 변형 흐름을 생성하여 입술 읽기에서의 운동 모델링에 효과적임을 입증한다.
• 제거 실험 결과, 변형 흐름과 원본 영상의 조합, 이중 방향 정련이 성능 향상의 핵심 요소임을 확인한다.