[논문 리뷰] Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading

Mingshuang Luo, Shuang Yang외 2명|arXiv (Cornell University)|2020. 03. 09.

Speech and Audio Processing참고 문헌 25인용 수 7

한 줄 요약

이 논문은 순서-순서 립리딩을 위한 의사-컨볼루션 강화 학습 정책 기반 방법(PCPG)을 제안하며, 보상과 손실 계산에서 시간적 맥락을 향상시키고 CER(문자 오류율)를 강화 학습 보상으로 통합하여 노출 편향과 손실-평가 지표 불일치 문제를 완화한다. 이 방법은 GRID, LRW, LRW-1000 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하며, 빔 서치를 사용할 경우 GRID에서 WER 11.2%와 LRW-1000에서 33.1%의 정확도를 기록한다.

ABSTRACT

Lip-reading aims to infer the speech content from the lip movement sequence and can be seen as a typical sequence-to-sequence (seq2seq) problem which translates the input image sequence of lip movements to the text sequence of the speech content. However, the traditional learning process of seq2seq models always suffers from two problems: the exposure bias resulted from the strategy of "teacher-forcing", and the inconsistency between the discriminative optimization target (usually the cross-entropy loss) and the final evaluation metric (usually the character/word error rate). In this paper, we propose a novel pseudo-convolutional policy gradient (PCPG) based method to address these two problems. On the one hand, we introduce the evaluation metric (refers to the character error rate in this paper) as a form of reward to optimize the model together with the original discriminative target. On the other hand, inspired by the local perception property of convolutional operation, we perform a pseudo-convolutional operation on the reward and loss dimension, so as to take more context around each time step into account to generate a robust reward and loss for the whole optimization. Finally, we perform a thorough comparison and evaluation on both the word-level and sentence-level benchmarks. The results show a significant improvement over other related methods, and report either a new state-of-the-art performance or a competitive accuracy on all these challenging benchmarks, which clearly proves the advantages of our approach.

연구 동기 및 목표

• 순서-순서 립리딩 모델의 티처포싱 학습에서 발생하는 노출 편향 문제를 해결하기 위해.
• 최종 평가 지표(CER/WER)와 교차 엔트로피 손실 최적화 간의 불일치 문제를 해결하기 위해.
• 보상과 손실 계산 중 시간적 맥락 정보를 통합하여 모델의 강건성을 향상시키기 위해.
• 어휘 수준 및 문장 수준의 립리딩 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 정책 기반 강화 학습 프레임워크 내에서 CER를 조밀한 비미분 가능 보상 신호로 통합하여 학습을 최종 평가 지표와 일치시킨다.
• 손실 및 보상 차원에서 의사-컨볼루션 연산을 적용하여 수신 영역을 확장하고, 시간 단위별 맥락 인식 최적화를 가능하게 한다.
• 이웃 시간 단계 예측을 집계하기 위해 커널 크기 $k=3$와 스트라이드 $s=1$를 사용하여 보상과 손실의 안정성을 향상시킨다.
• 학습 가능한 또는 고정된 커널 가중치 $w$를 사용하는 가중치가 있는 컨볼루션 유사 연산을 통해 주변 시간 단계 기여도를 균형 있게 조절한다.
• 판별적 교차 엔트로피 손실과 정책 기반 강화 학습을 결합하여 정확도와 CER 모두 최적화한다.
• 비디오 인코더와 디코더를 함께 훈련하며, PCPG 모듈이 후속 작업을 위한 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 CER를 조밀한 보상 신호로 통합하면 표준 교차 엔트로피 손실을 초월하여 순서-순서 립리딩 성능을 향상시킬 수 있는가?
• RQ2 의사-컨볼루션 연산을 통해 보상과 손실 계산의 시간적 맥락을 확장하면 모델의 일반화 능력과 강건성이 향상되는가?
• RQ3 PCPG 방법은 어휘 수준 및 문장 수준의 립리딩 벤치마크에서 최신 기술 수준 모델과 비교해 어떻게 성능을 내는가?
• RQ4 PCPG 모듈의 의사-컨볼루션 연산에서 최적의 커널 크기와 가중치 구성은 무엇인가?

주요 결과

• GRID 벤치마크에서 PCPG 모델은 빔 서치를 사용할 경우 WER 11.2%, 사용하지 않을 경우 11.9%를 기록하여 이전 방법들을 능가한다.
• LRW-1000 데이터셋에서 모델은 디코딩 시 33.1%의 정확도와 분류 시 38.70%의 정확도를 기록하여 이전 최신 기술 수준 성능을 초월한다.
• 제거 분석 결과 $k=3$가 최고의 성능을 내어 보상과 손실 계산에 최적의 맥락 길이를 제공함을 시사한다.
• 모델은 커널 가중치 변화에 대해 강건하며, 다양한 가중치 구성 간 성능 차이가 1% 미만으로 나타난다.
• PCPG 모델이 학습한 표현은 후속 순서 분류 작업에서 향상된 성능을 보이며, LRW에서 83.5%의 정확도와 LRW-1000에서 38.70%의 정확도를 기록하여 기존 방법을 능가한다.
• PCPG 모듈은 일반화 능력이 뛰어나 디코딩 및 분류 작업 모두에서 최신 기술 수준 또는 경쟁 가능한 결과를 달성한다.