[논문 리뷰] Training Augmentation with Adversarial Examples for Robust Speech Recognition

Sining Sun, Ching-Feng Yeh외 3명|arXiv (Cornell University)|2018. 06. 07.

Speech Recognition and Synthesis인용 수 14

한 줄 요약

이 논문은 음성 인식에서 깊이 신경망 음성 모델의 강건성을 햖스키기 위해 빠른 기울기 부호 방법(FGSM)을 사용한 적대적 데이터 증강을 제안한다. 모델 파rameter를 기반으로 훈련 중에 적대적 예제를 동적으로 생성함으로써, Aurora-4에서는 상대적 단어 오류율(WER) 감소율 23%를 달성하고, CHiME-4에서는 5–6%의 성능 향상을 기록한다. 또한 교사-학생 훈련과 조합할 경우 더욱 향상된 성능을 얻는다.

ABSTRACT

This paper explores the use of adversarial examples in training speech recognition systems to increase robustness of deep neural network acoustic models. During training, the fast gradient sign method is used to generate adversarial examples augmenting the original training data. Different from conventional data augmentation based on data transformations, the examples are dynamically generated based on current acoustic model parameters. We assess the impact of adversarial data augmentation in experiments on the Aurora-4 and CHiME-4 single-channel tasks, showing improved robustness against noise and channel variation. Further improvement is obtained when combining adversarial examples with teacher/student training, leading to a 23% relative word error rate reduction on Aurora-4.

연구 동기 및 목표

• 노이즈가 많고 채널 왜곡이 있는 환경에서 깊이 신경망 음성 모델의 강건성을 향상시키기 위해.
• 동적으로 생성된 적대적 예제가 훈련 데이터의 다양성과 모델 일반화 능력 향상에 기여하는지 조사하기 위해.
• 교사-학생 훈련과 결합한 적대적 데이터 증강의 효과성을 평가하여 ASR 성능 향상 여부를 검토하기 위해.
• 데이터 증강 전략으로서 랜덤 편향과의 비교를 통해 적대적 데이터 증강의 효과를 평가하기 위해.

제안 방법

• 훈련 중에 입력에 대한 손실의 기울기를 기반으로 편향을 계산하는 빠른 기울기 부호 방법(FGSM)을 사용하여 적대적 예제를 생성한다.
• 각 미니배치에서, 입력 기울기의 부호 방향으로 작은 타겟 편향을 추가하며, 이는 하이퍼파rameter ε에 의해 스케일링된다.
• 모델은 원본 예제와 적대적 예제 모두로 훈련되어, 훈련 데이터의 다양성이 향상되고 입력 편향에 대한 강건성이 향상된다.
• 이 방법은 교사-학생(T/S) 훈련과 조합되며, 교사 모델이 청소화된 데이터에서 훈련된 후 소프트 타겟을 제공하는 방식으로 학생 모델이 훈련된다.
• 손실 함수는 학생의 출력에 대한 교차 엔트로피 항과 교사의 출력을 사용한 디스틸레이션 항을 포함하며, 이는 하이퍼파rameter α로 균형을 조절한다.
• 이 방법은 Aurora-4와 CHiME-4 데이터셋에서 평가되었으며, 실제 및 시뮬레이션된 노이즈 테스트 세트에서 표준 WER 메트릭을 사용하였다.

실험 결과

연구 질문

• RQ1 훈련 중에 FGSM를 통해 생성된 적대적 예제가 음성 모델의 노이즈 및 채널 변동에 대한 강건성 향상에 기여하는가?
• RQ2 적대적 데이터 증강이 랜덤 편향 기반 데이터 증강 전략과 비교할 때 WER 감소에 어떤 영향을 미치는가?
• RQ3 적대적 데이터 증강을 교사-학생 훈련과 조합할 경우 모델의 강건성 향상에 누적 효과가 발생하는가?
• RQ4 음성 인식 과제에서 적대적 데이터 증강에 최적의 편향 크기 ε는 얼마인가?

주요 결과

• Aurora-4 데이터셋에서, 적대적 데이터 증강만으로도 상대적 단어 오류율(WER) 감소율 14.1%를 기록하였으며, 노이즈와 채널 왜곡이 모두 존재할 경우 최대 18.6%의 감소율을 기록하였다.
• CHiME-4 싱글트랙 작업에서, 실제 테스트 세트(et05_real)에서는 5.7%의 상대적 WER 감소율을, 시뮬레이션된 세트(et05_simu)에서는 5.3%의 감소율을 기록하였다.
• Aurora-4에서 적대적 데이터 증강과 교사-학생 훈련을 조합한 결과, 상대적 WER 감소율 23%를 달성하였으며, 최종 WER는 8.50%에 도달하였다.
• 랜덤 편향 기반 증강은 교사-학생 훈련만으로도 9.70% WER를 기록한 데 비해, 최소한의 향상(9.48% WER)을 기록하여, 적대적 예제의 우수성을 입증하였다.
• 다양한 노이즈 유형과 환경에서 일관된 성능 향상을 보였으며, Aurora-4에서는 ε=0.3에서 최적의 성능를 기록했고, CHiME-4에서는 ε<0.25에서 최적의 성능를 기록하였다.