[논문 리뷰] Simultaneous Speech Translation for Live Subtitling: from Delay to Display

Alina Karakanta, Sara Papi외 2명|arXiv (Cornell University)|2021. 07. 19.

Subtitles and Audiovisual Media인용 수 10

한 줄 요약

이 논문은 실시간 자막 제작에서 독해력을 향상시키기 위해 번역 문장을 예측된 줄 끝 위치에 따라 동적으로 한 줄씩 스크롤 표시하는 스크롤링 라인 표시 모드를 제안한다. 영어 → 이탈리아어, 독일어, 프랑스어에 대한 실험 결과, 스크롤링 라인 방식은 14.4–19.9 cps의 편안한 독서 속도를 달성하면서도 78–85%의 자막이 21 cps 기준을 충족시키며, 지연 시간은 약 4초의 목표 수준을 유지하여 단어별로 표시하는 방식과 블록 기반 표시 방식보다 우수한 성능을 보였다.

ABSTRACT

With the increased audiovisualisation of communication, the need for live subtitles in multilingual events is more relevant than ever. In an attempt to automatise the process, we aim at exploring the feasibility of simultaneous speech translation (SimulST) for live subtitling. However, the word-for-word rate of generation of SimulST systems is not optimal for displaying the subtitles in a comprehensible and readable way. In this work, we adapt SimulST systems to predict subtitle breaks along with the translation. We then propose a display mode that exploits the predicted break structure by presenting the subtitles in scrolling lines. We compare our proposed mode with a display 1) word-for-word and 2) in blocks, in terms of reading speed and delay. Experiments on three language pairs (en$\ ightarrow$it, de, fr) show that scrolling lines is the only mode achieving an acceptable reading speed while keeping delay close to a 4-second threshold. We argue that simultaneous translation for readable live subtitles still faces challenges, the main one being poor translation quality, and propose directions for steering future research.

연구 동기 및 목표

• 실시간 다국어 자막 제작에 동시 번역(SimulST)을 적용할 수 있는지 탐색한다.
• SimulST에서 단어별로 표시하는 방식이 독해력에 악영향을 주고 독서 속도의 변동성과 시청자 피로를 유발한다는 문제를 해결한다.
• 예측된 자막 끝 위치를 활용하여 블록 기반 및 스크롤링 라인과 같은 대체 표시 전략을 탐색한다.
• 실시간 자막 제작에서 독서 속도와 지연 시간 간의 상호 상충 관계를 평가한다.
• 특히 번역 품질과 평가 방법론의 문제점을 포함하여 SimulST를 실시간 자막 제작에 적용할 때의 주요 과제를 규명한다.

제안 방법

• 저자들은 번역 생성 과정에서 줄 바꿈을 나타내는 특수 토큰을 조건으로 삼아 SimulST 모델을 미세조정하여 자막 끝을 예측하도록 한다.
• 시스템은 스트리밍 방식으로 한 단어씩 번역을 생성하며, 적절한 위치에 예측된 끝 위치를 삽입한다.
• 실시간으로 한 줄씩 렌더링하면서 의미 블록을 유지하는 동적 스크롤링 라인 표시 모드를 구현한다.
• 세 가지 표시 방식을 비교한다: 단어별 표시(한 단어씩), 블록 기반 표시(전체 문장 한 번에 표시), 스크롤링 라인 표시(동적 라인 단위 렌더링).
• 독서 속도(rs)와 지연 시간은 MuST-Cinema amara 데이터셋을 사용하여 세 언어 쌍(en→it, en→de, en→fr)에서 측정된다.
• 시스템은 자막이 21 cps 독서 속도 기준을 충족하는지 평가하고, 사용성 평가를 위해 평균 지연 시간(밀리초 단위)을 계산한다.

실험 결과

연구 질문

• RQ1 자동 동시 번역이 실시간 다국어 자막 제작에 실현 가능한가?
• RQ2 SimulST 시스템의 생성 방식이 실시간 자막의 독해력에 미치는 과제는 무엇인가?
• RQ3 단어별, 블록 기반, 스크롤링 라인과 같은 다양한 표시 전략은 실시간 자막 제작에서 독서 속도와 지연 시간에 어떤 영향을 미치는가?
• RQ4 예측된 자막 끝 위치는 SimulST로 생성된 자막의 독해력을 실시간 환경에서 향상시킬 수 있는가?
• RQ5 자동화된 실시간 자막 제작에서 낮은 지연 시간과 수용 가능한 독서 속도 사이의 최적의 균형은 무엇인가?

주요 결과

• 스크롤링 라인 방식은 모든 언어 쌍에서 가장 낮은 평균 독서 속도(14.4–19.9 cps)를 기록했으며, 78–85%의 자막이 편안한 독서를 위한 21 cps 기준을 충족시켰다.
• 단어별 표시 방식은 최고의 독서 속도(최대 58.4 cps)를 기록했지만, 불규칙한 단어 노출 시간으로 인해 변동성이 크고 독해력이 떨어졌다.
• 블록 기반 표시 방식은 가장 높은 지연 시간(4,503–5,273 ms)을 기록했으며, 4초 기준을 초과했고, 고지연 시스템에서 독서 속도 향상 효과는 중간 정도였다.
• 스크롤링 라인 방식은 블록 기반 표시 방식 대비 평균 0.6초의 지연 시간 감소를 기록했으며, 지연 시간은 4초 목표 수준에 근접하게 유지되었다(4,090–4,708 ms).
• 낮은 독서 속도와 낮은 지연 시간 간의 상관관계가 확인되어 이 두 지표 간의 반비례 관계가 검증되었다.
• en→de 언어 쌍에서는 더 긴 대기 시간(wait-5)이 적용될수록 독서 속도가 증가했으며, 이는 길이 준수율이 낮아졌음(91% vs. 94%)과 관련이 있었고, 정확한 끝 위치 예측의 중요성을 강조했다.