[논문 리뷰] Thinking Slow about Latency Evaluation for Simultaneous Machine Translation

Colin Cherry, George Foster|arXiv (Cornell University)|2019. 05. 31.

Natural Language Processing Techniques인용 수 33

한 줄 요약

본 논문은 Differentiable Average Lagging (DAL)을 소개한다. 이는 동시 기계 번역(SMT)을 위한 미분 가능 지연 측정 지표로, Average Lagging (AL)의 불일치를 해소하고 내재 타이밍 시나리오에서 지연을 평가하기 위한 일관된 프레임워크를 제공한다.

ABSTRACT

Simultaneous machine translation attempts to translate a source sentence before it is finished being spoken, with applications to translation of spoken language for live streaming and conversation. Since simultaneous systems trade quality to reduce latency, having an effective and interpretable latency metric is crucial. We introduce a variant of the recently proposed Average Lagging (AL) metric, which we call Differentiable Average Lagging (DAL). It distinguishes itself by being differentiable and internally consistent to its underlying mathematical model.

연구 동기 및 목표

• 내재적(타이밍-free) 동시 MT 평가에서 지연 측정 방법을 명확히 한다.
• 기존의 Average Lagging (AL) 지표의 한계를 식별한다.
• 대상 글쓰기 비용을 반영하고 AL의 바람직한 특성을 유지하는 미분 가능 지연 지표를 제안한다.
• 실용적 구현을 위한 지연 모델의 비순환(non-recurrent) 표현을 제공한다.

제안 방법

• t 번째 목표 토큰을 쓰기 전에 읽은 원천 토큰의 수를 g(t)로 정의한다.
• 타깃 토큰을 쓰는 데 시간 비용 d를 도입한 g'를 도입하고, 재귀식 g_d'(t)= { g(t) if t=1; max[g(t), g_d'(t-1)+d] }로 표현하며 비순환 형태와 동등함을 보인다.
• DAL_d를 1/|y| ∑_t ( g_d'(t) - (t-1)d )로 유도하고, AL과의 일관성을 위해 d = |x|/|y|를 제안한다.
• AL의 문제점인 tau를 미분 가능하고 시간 기반의 표현을 사용하여 제거한다.
• 비순환 동등식 g_d'(t) = (t-1)d + max_{1≤i≤t} [ g(i) - (i-1)d ]를 제공한다.
• 특성, 경계 사례 및 결정론적 대 적응 지연 전략에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 소스의 타이밍 정보 없이 내재적 동시 MT 평가에서 지연을 어떻게 측정할 수 있는가?
• RQ2 어떤 점에서 AL이 미분 가능하고 특정 타이밍 전략을 가중하거나 보상하는 데 한계가 있는가?
• RQ3 타깃 토큰 쓰기 비용을 반영하고 wait-k 시스템에 대해 일관성을 유지하는 미분 가능 지연 지표를 설계할 수 있는가?
• RQ4 다양한 길이 조건에서 결정론적 및 적응적 번역 시스템에 대해 DAL은 AL과 어떻게 비교되는가?

주요 결과

• DAL은 미분 가능하며 AL의 tau 기반 비미분 가능성을 제거한다.
• DAL은 d로 표기된 글쓰기 비용 매개변수를 도입하며, AL과의 일관성을 위해 d = |x|/|y|로 선택하고 y가 x보다 길 때 따라잡기를 촉진한다.
• DAL은 wait-k 시스템에 대한 AL의 해석을 보존하는 동시에 tau 이후의 무료 쓰기로 인한 AL의 잠재적 악용을 방지한다.
• DAL의 시간 인덱스 지연은 (t-1)d로 하한을 가지며 기준 지연을 보장하고 음의 지연을 방지한다.
• 경험적 비교는 AL과 DAL 사이에 주로 선형 관계를 시사하며, DAL은 보수적이고 적응적 MILk 시스템이 결정론적 wait-k 시스템에 비해 보고된 지연이 약간 더 큰 경향이 있다.