[논문 리뷰] Lip-reading with Densely Connected Temporal Convolutional Networks

Pingchuan Ma, Yujiang Wang외 3명|arXiv (Cornell University)|2020. 09. 29.

Speech and Audio Processing참고 문헌 57인용 수 6

한 줄 요약

이 논문은 고립된 단어 입술 읽기 위해 조밀하게 연결된 시간 컨볼루션 네트워크(DC-TCN)를 제안하며, 밀도 높은 스킵 연결과 스QUEEZE-and-Excitation 주의 모듈을 통해 시간 특징 추출을 향상시킨다. 이 방법은 LRW 데이터셋에서 88.36%의 정확도와 LRW-1000에서 43.65%의 정확도를 기록하여 이전 방법들보다 유의미한 성능 향상을 이룬다.

ABSTRACT

In this work, we present the Densely Connected Temporal Convolutional Network (DC-TCN) for lip-reading of isolated words. Although Temporal Convolutional Networks (TCN) have recently demonstrated great potential in many vision tasks, its receptive fields are not dense enough to model the complex temporal dynamics in lip-reading scenarios. To address this problem, we introduce dense connections into the network to capture more robust temporal features. Moreover, our approach utilises the Squeeze-and-Excitation block, a light-weight attention mechanism, to further enhance the model's classification power. Without bells and whistles, our DC-TCN method has achieved 88.36% accuracy on the Lip Reading in the Wild (LRW) dataset and 43.65% on the LRW-1000 dataset, which has surpassed all the baseline methods and is the new state-of-the-art on both datasets.

연구 동기 및 목표

• 입술 읽기 작업에서 표준 시간 컨볼루션 네트워크(TCN)의 제한된 시간 수용장치 조밀도 문제를 해결하기 위해.
• 시간에 따라 변화하는 미세하고 복잡한 동적 특징을 향상시켜 고립된 단어 입술 읽기에서의 특징 전파를 개선하기 위해.
• 완전히 컨볼루션 기반 아키텍처에서 경량 주의 메커니즘(Squeeze-and-Excitation)을 통해 분류 성능을 향상시키기 위해.
• 복잡한 데이터 증강이나 보조 구성 요소에 의존하지 않고도 LRW 및 LRW-1000 벤치마크에서 새로운 최신 기술 성능을 달성하기 위해.

제안 방법

• 두 가지 변종인 완전 조밀(FD) 및 부분 조밀(PD) DC-TCN을 제안하며, 각 TC 레이어가 이전 모든 레이어의 특징을 연결하여 조밀한 특징 흐름을 가능하게 한다.
• 각 TC 블록 뒤에 Squeeze-and-Excitation(SE) 블록을 통합하여 전역적 맥락 기반으로 채널별 특징 반응을 적응적으로 재조정한다.
• 확장된 수용장치를 유지하면서 시간 해상도를 유지하기 위해 TC 블록에서 확장 컨볼루션을 사용한다.
• 비디오 클립에서 시각적 특징을 추출하기 위해 3D 컨볼루션 신경망(3D-CNN)과 ResNet18을 프론트엔드로 활용한다.
• 확장 컨볼루션과 잔차 연결을 사용한 다층 TCN 백엔드를 통해 장거리 시간 의존성을 모델링한다.
• 표준 데이터 분할을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 훈련하고, 표준 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 TCN 아키텍처에서의 조밀한 연결이 고립된 단어 입술 읽기의 시간 특징 표현을 향상시키는가?
• RQ2 Squeeze-and-Excitation 블록의 통합이 TCN 기반 입술 읽기 모델의 판별 능력을 향상시키는가?
• RQ3 제안된 DC-TCN은 표준 입술 읽기 벤치마크에서 기존 최신 기술 방법과 비교해 어떻게 성능을 낼 수 있는가?
• RQ4 모델은 길이가 변하는 입력 시퀀스 상황에서도 얼마나 견고한가?
• RQ5 모델은 어려운 및 매우 어려운 단어 카테고리에서 뛰어난 성능을 보이는가?

주요 결과

• 부분 조밀(PD) 아키텍처를 가진 DC-TCN는 LRW 데이터셋에서 88.36%의 상위-1 정확도를 기록하여 이전 최신 기술 방법(85.3%)보다 3.06% 포인트 높은 성능을 보였다.
• LRW-1000 데이터셋에서는 PD 변종이 43.65%의 정확도를 기록하여 이전 최신 기술(41.4%)보다 2.25% 포인트 높은 성능을 보였다.
• 모델는 '어려운' 및 '매우 어려운' 단어 카테고리에서 뚜렷한 향상을 보이며, 어려운 언어 패턴에 대한 강건성을 향상시켰음을 시사했다.
• 프레임 제거 증강(N=0에서 N=5까지) 상황에서도 DC-TCN 모델은 엔드 투 엔드 AVR과 같은 기준 모델보다 뛰어난 시간적 강건성을 유지했다.
• 완전 조밀(FD) 변종은 LRW에서 88.01%, LRW-1000에서 43.11%의 정확도를 기록하여 두 변종 모두 일관된 성능을 보였다.
• 제거 실험을 통해 조밀한 연결과 SE 블록 모두 성능 향상에 기여하며, 조합 시 최고의 성능를 기록함을 확인했다.