[논문 리뷰] Why does CTC result in peaky behavior?

Albert Zeyer, Ralf Schlüter외 1명|arXiv (Cornell University)|2021. 05. 31.

Epilepsy research and treatmentMedicine참고 문헌 29인용 수 18

한 줄 요약

이 논문은 균일 초기화에서 기인한 경사 하강법의 동역학으로 인해 연결주의적 시간 분류(CTC) 손실이 시간에 걸쳐 예측을 한 개의 레이블(예: 빈 레이블)에 집중시키는 피크형 행동을 유도하는 이유를 공식적으로 분석한다. CTC 학습이 간단한 작업에서 최적해가 아니고 피크형인 해에 수렴할 수 있음을 입증하며, 레이블 사전 모델을 통합함으로써 피크형 행동을 제거하고 0% 오류율을 달성하는 최적의 비피크형 해로 수렴할 수 있음을 보여준다.

ABSTRACT

The peaky behavior of CTC models is well known experimentally. However, an understanding about why peaky behavior occurs is missing, and whether this is a good property. We provide a formal analysis of the peaky behavior and gradient descent convergence properties of the CTC loss and related training criteria. Our analysis provides a deep understanding why peaky behavior occurs and when it is suboptimal. On a simple example which should be trivial to learn for any model, we prove that a feed-forward neural network trained with CTC from uniform initialization converges towards peaky behavior with a 100% error rate. Our analysis further explains why CTC only works well together with the blank label. We further demonstrate that peaky behavior does not occur on other related losses including a label prior model, and that this improves convergence.

연구 동기 및 목표

• CTC 학습 모델에서 관찰된 피크형 행동의 근본 원인을 공식적으로 설명하는 것 — 이는 실험적으로는 관측되었지만 이론적으로는 이해되지 않았다.
• 균일 초기화에서 시작하는 경사 하강법이 CTC에서 피크형 출력 분포를 가진 부분 최적해에 수렴하는 이유를 조사하는 것.
• 빈 레이블이 CTC에서 발산을 방지하고 수렴을 가능하게 하는 데서 가지는 핵심적 역할을 명확히 하는 것.
• 피크형 행동는 손실 기준을 수정함으로써 피할 수 있으며, 특히 레이블 사전 모델을 포함함으로써 이를 실현할 수 있음을 보여주는 것.
• CTC와 다른 학습 기준을 비교하여, CTC만이 특정한 손실 구조와 레이블 구조로 인해 피크형 행동를 보이는 이유를 밝혀내는 것.

제안 방법

• SymPy를 사용한 기호 계산을 통한 CTC 손실 함수와 균일 초기화 하에서의 기울기 동역학에 대한 공식적 수학적 분석.
• 피크형 수렴을 고립하고 입증하기 위해 최소한의 합성 예제(예: B*a+ B*)를 구성하는 것.
• 모델 파라미터에 대한 CTC 손실의 기울기를 유도하여, 이 기울기가 빈 레이블에 확률 질량을 집중시키는 경향을 보임을 보여주는 것.
• 레이블 사전을 통합한 수정된 학습 기준을 도입하고, 이는 정렬을 통합한 생성 모델로 형식화한 것.
• TensorFlow와 RETURNN을 사용한 합성 데이터셋에서의 실증적 검증을 통해 표준 CTC와 사전 보정 CTC 간의 수렴 행동을 비교하는 것.
• 기울기 흐름과 수렴 경로를 분석하기 위해 소프트플러스 또는 시그모이드 기반 파arameterization을 사용한 모델 재구성.

실험 결과

연구 질문

• RQ1 균일 초기화에서 경사 하강법을 사용한 CTC 학습이 심지어 간단한 시퀀스 학습 작업에서도 피크형 행동로 이르는 이유는 무엇인가?
• RQ2 빈 레이블이 CTC에서 피크형 해로의 수렴을 방지하거나 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 왜 레이블 사전 모델을 포함함으로써 피크형 행동이 제거되고 시퀀스 모델링에서 수렴성이 향상되는가?
• RQ4 CTC의 국소 수렴 성질은 레이블 사전 모델이나 전체 합산 정규화와 같은 다른 시퀀스 학습 기준과 어떻게 다를까?
• RQ5 피크형 행동가 최적해가 아니게 되는 조건는 무엇이며, 손실 수정을 통해 이를 공식적으로 피할 수 있는가?

주요 결과

• 균일 초기화에서 CTC로 학습된 피드포워드 신경망은 간단하고 명백한 시퀀스 작업(예: B*a+ B*)에서 100% 오류율을 보이는 피크형 해로 수렴함을 입증하여, 피크형 행동가 CTC 기준의 근본적인 결함임을 보여준다.
• 피크형 행동는 레이블 구조와 정렬 공간에서 빈 레이블의 지배적 위치로 인해 발생하며, 이는 기울기 하강법이 다른 레이블보다 빈 레이블에 확률 질량을 집중시키는 경향을 유도한다.
• 빈 레이블은 CTC에서 수렴에 있어 필수적이다; 이를 생략할 경우 피크형 행동는 더욱 악화되고 의미 있는 정렬로의 수렴에 실패한다.
• 레이블 사전 모델이 학습 기준에 통합되면 피크형 행동가 제거되고, 합성 실험을 통해 0% 오류율을 달성하는 전역 최적해로 수렴할 수 있음을 입증한다.
• 정렬에 대한 전체 합산 정규화를 가진 생성 모델(CTC의 특정 구조 없이)은 균일 초기화에서 비피크형 최적 해로 수렴함을 보여주며, 이는 피크형 행동가 CTC의 손실 공식화에 특화되어 있음을 증명한다.
• 분석 결과, FFNN과 같은 국소적 컨텍스트 모델은 피크형 국소 최적해에서 벗어나지 못하는 능력 부족으로 인해 CTC에 대해 최적해가 아니며, CTC 학습 하에서 아키텍처적 제약가 존재함을 드러낸다.