[논문 리뷰] Blending LSTMs into CNNs

Krzysztof J. Geras, Abdelrahman Mohamed외 7명|arXiv (Cornell University)|2015. 11. 19.

Speech Recognition and Synthesis참고 문헌 34인용 수 7

한 줄 요약

이 논문은 지식 정련의 새로운 응용인 '모델 블렌딩'을 소개한다. 깊이 있는 CNN이 장기적 시퀀스 모델링 능력을 지닌 LSTM 교사 네트워크를 모방하도록 훈련되며, LSTM의 장점을 살리면서도 CNN의 계산 효율성을 유지한다. 이 방법은 Switchboard에서 최신 기준 WER(14.1%)를 달성했으며, 소프트 레이블과 하드 레이블을 융합함으로써 개별 모델 및 앙상블 모델을 모두 능가한다. 이는 교사 출력의 상위 0.3%에 해당하는 확률이 가장 높은 예측만을 사용할 때도 성능이 근사 최적에 도달할 수 있음을 보여준다.

ABSTRACT

We consider whether deep convolutional networks (CNNs) can represent decision functions with similar accuracy as recurrent networks such as LSTMs. First, we show that a deep CNN with an architecture inspired by the models recently introduced in image recognition can yield better accuracy than previous convolutional and LSTM networks on the standard 309h Switchboard automatic speech recognition task. Then we show that even more accurate CNNs can be trained under the guidance of LSTMs using a variant of model compression, which we call model blending because the teacher and student models are similar in complexity but different in inductive bias. Blending further improves the accuracy of our CNN, yielding a computationally efficient model of accuracy higher than any of the other individual models. Examining the effect of "dark knowledge" in this model compression task, we find that less than 1% of the highest probability labels are needed for accurate model compression.

연구 동기 및 목표

• 딥 CNN이 자동 음성 인식에서 LSTM의 성능을 따라잡거나 능가할 수 있는지 조사한다.
• 교사 모델과 학생 모델의 복잡도가 유사하지만, 유도적 편향이 다를 때의 모델 압축 기법을 탐색한다.
• 새로운 블렌딩 기법을 통해 LSTMs의 지식을 활용해 CNN의 성능을 향상시킨다.
• 낮은 샘플 수의 레이블 설정에서 '어둠의 지식'의 효과를 평가한다.

제안 방법

• Switchboard 데이터셋에서 시각 기반의 깊이 있는 CNN 아키텍처를 훈련시켜 이전의 CNN 및 LSTM 모델보다 뛰어난 정확도를 달성한다.
• 지식 정련의 변종인 '모델 블렌딩'을 사용한다. 이는 CNN 학생 모델이 LSTM 교사 모델이 생성한 소프트 레이블(로짓 또는 확률)을 학습한다.
• 훈련 목표는 하드 레이블에 대한 교차 엔트로피 손실과 교사 및 학생 예측 간의 교차 엔트로피를 최소화하는 정련 손실을 조합한다.
• 하드 레이블과 소프트 레이블의 기여도를 조절하기 위해 하이퍼파라미터 λ를 사용한다.
• 교사에서 유지하는 상위 클래스 예측 수(C)를 변화시켜 효과적인 정련에 필요한 최소한의 정보를 평가한다.
• 자기 교육 기반의 변종을 탐색한다. 동일한 아키텍처를 가진 CNN이 다른 CNN을 가르치는 방식으로, 이 방법의 일반화 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 시각 기반 아키텍처를 가진 깊이 있는 CNN이 Switchboard 음성 인식 과제에서 LSTM을 능가할 수 있는가?
• RQ2 학생 모델이 훨씬 작지 않은, 교사 모델과 유사한 크기와 복잡도를 가질 때 모델 압축이 효과적인가?
• RQ3 교사 모델의 출력(즉, 소프트 레이블) 중 얼마나 많은 비율이 효과적인 지식 전이에 필요한가?
• RQ4 다른 유도적 편향이 없이도 동일한 아키텍처를 가진 CNN이 다른 CNN으로부터 학습함으로써 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 CNN 모델은 Switchboard 데이터셋에서 단어 오류율(WER) 14.1%를 달성했으며, 개별 LSTM 및 CNN보다 뛰어난 성능을 보였다.
• LSTM 교사 모델을 사용한 모델 블렌딩은 WER을 14.1%로 낮췄으며, 이는 개별 모델, 앙상블 모델을 포함해 어떤 모델보다도 낮은 성능을 기록했다.
• 교사 모델의 상위 확률 예측 중 약 0.3%만(약 300개 중 1개)을 사용해도 정련에서 근사 최적의 성능을 달성할 수 있었다.
• 너무 적은 수의 레이블을 사용할 경우 성능이 크게 악화되어, '어둠의 지식'이 효과적인 정련을 위해 필수적임을 시사했다.
• 다른 CNN(자기 교육)을 모방하도록 훈련된 CNN 학생 모델은 34.61%의 FER과 14.1%의 WER을 기록했으며, 이는 블렌딩 기법이 동일한 아키텍처 내에서도 성능 향상을 이끌 수 있음을 보여준다.
• 블렌딩된 CNN 모델은 동등한 CNN 및 LSTM 앙상블보다 추론 시 6.8배 더 계산 효율성이 높았다.