[논문 리뷰] Task Loss Estimation for Sequence Prediction

Dzmitry Bahdanau, Dmitriy Serdyuk외 5명|arXiv (Cornell University)|2015. 11. 19.

Topic Modeling참고 문헌 26인용 수 28

한 줄 요약

이 논문은 순서 예측을 위한 새로운 대체 손실인 작업 손실 추정(TLE)을 제안한다. TLE는 각 입력-출력 쌍에 대해 작업 손실(예: 문자 오류율)을 직접 목표 점수로 모델링한다. 모델이 이러한 작업 손실 값을 예측하고 추정 오차를 최소화하도록 훈련시킴으로써 TLE는 실제 작업 손실과 일관성을 확보하며, 외부 언어 모델 없이도 순음성 인식에서 교차 엔트로피보다 13% 상대적인 CER 향상을 이룬다.

ABSTRACT

Often, the performance on a supervised machine learning task is evaluated with a emph{task loss} function that cannot be optimized directly. Examples of such loss functions include the classification error, the edit distance and the BLEU score. A common workaround for this problem is to instead optimize a emph{surrogate loss} function, such as for instance cross-entropy or hinge loss. In order for this remedy to be effective, it is important to ensure that minimization of the surrogate loss results in minimization of the task loss, a condition that we call emph{consistency with the task loss}. In this work, we propose another method for deriving differentiable surrogate losses that provably meet this requirement. We focus on the broad class of models that define a score for every input-output pair. Our idea is that this score can be interpreted as an estimate of the task loss, and that the estimation error may be used as a consistent surrogate loss. A distinct feature of such an approach is that it defines the desirable value of the score for every input-output pair. We use this property to design specialized surrogate losses for Encoder-Decoder models often used for sequence prediction tasks. In our experiment, we benchmark on the task of speech recognition. Using a new surrogate loss instead of cross-entropy to train an Encoder-Decoder speech recognizer brings a significant ~13% relative improvement in terms of Character Error Rate (CER) in the case when no extra corpora are used for language modeling.

연구 동기 및 목표

• 순서 예측에서 비미분 가능한 작업 손실 함수(예: CER, BLEU)와 표준 대체 손실(예: 교차 엔트로피) 간의 일관성 부족 문제를 해결하기 위해.
• 모든 출력에 대해 작업 손실을 목표 점수로 모델링함으로써 실제 작업 손실을 증명 가능하게 최소화하는 대체 손실을 개발하기 위해.
• 각 시퀀스 요소에 정확한 목표 점수를 할당하여 인코더-디코더 모델의 훈련 효율성과 일반화 성능을 향상시키기 위해.
• 하류 평가 지표와 더 잘 일치하는 엔드 투 엔드 훈련을 가능하게 하여, 특히 구조적 예측 작업에서 성능을 향상시키기 위해.
• 외부 언어 모델이 사용되지 않는 저자원 환경에서 TLE가 교차 엔트로피를 능가하는지 입증하기 위해.

제안 방법

• 각 입력-출력 쌍에 대해 진짜 작업 손실을 예측하도록 훈련된 점수 함수의 추정 오차에 기반한 대체 손실을 제안한다.
• 기타 출력에 영향을 받지 않는 모든 가능한 출력 시퀀스에 대해 목표 점수를 정의함으로써 작업 손실과의 일관성을 확보한다.
• 전체 점수를 요소별 기여도로 분해하고 각 항목에 개별 목표 점수를 할당함으로써 인코더-디코더 모델에 이 방법을 적용한다.
• 예측된 작업 손실 점수와 목표 작업 손실 점수 간의 평균 제곱 오차를 최소화하는 미분 가능한 손실 함수를 사용한다.
• 지상 진실에서의 편차뿐만 아니라 실제 작업 손실에 기반해 잘못된 출력을 직접 처벌함으로써 모델의 실수에 대한 훈련을 가능하게 한다.
• 훈련 속도가 교차 엔트로피와 유사한 계산 효율성을 유지하며, 그레디 및 빔 서치 추론을 모두 지원한다.

실험 결과

연구 질문

• RQ1 순서 예측에서 실제 작업 손실을 최소화하는 것을 보장할 수 있는 대체 손실을 구성할 수 있는가?
• RQ2 비미분 가능한 작업 손실(예: 문자 오류율 또는 BLEU 점수)이 존재할 경우, 이를 어떻게 미분 가능한 대체 손실로 유도할 수 있는가?
• RQ3 각 출력 시퀀스에 정확한 목표 점수를 할당하면 순서-순서 예측 작업에서 모델의 일반화 성능과 추론 품질이 향상되는가?
• RQ4 외부 언어 모델 없이도 작업 손실 추정이 표준 교차 엔트로피 훈련을 능가할 수 있는가?
• RQ5 제안된 방법이 그레디 및 빔 서치 디코딩 전략의 성능에 어떤 영향을 미치는가?

주요 결과

• 작업 손실 추정(TLE)은 외부 언어 모델 없이도 순음성 인식 작업에서 교차 엔트로피 훈련 대비 13% 상대적인 문자 오류율(CER) 감소를 달성했다.
• TLE 모델은 빔 크기와 관계없이 일관된 성능 향상을 보였으며, 빔 크기 10에서 최고 성능를 기록했고, 교차 엔트로피 모델의 경우 빔 크기 100을 초과해도 추가 성능 향상이 없었다.
• 문장 오류율(SER)은 TLE 모델이 교차 엔트로피 모델보다 항상 낮았는데, SER은 본질적으로 분류 오류이므로 이는 교차 엔트로피가 이러한 작업에 최적이라는 가정을 도전한다.
• TLE 모델은 빔 크기 1일 때 eval92 세트에서 CER 6.1%를 기록했고, 교차 엔트로피 대비 7.6%로, 언어 모델 없이도 상당한 성능 향상을 이룬다.
• TLE 모델은 다양한 빔 크기에서 안정적인 성능을 보였으며, 빔 크기를 10에서 1로 줄였을 때도 성능 저하가 최소한이었고, 이는 추론 전략에 대한 강건성을 시사한다.
• 표준 또는 확장된 언어 모델이 존재하는 상황에서도 TLE 모델은 일부 지표(예: 확장된 언어 모델 하에서의 SER)에서 교차 엔트로피를 능가했지만, 언어 모델이 없는 경우에 비해 성능 향상 폭은 더 작았다.