[논문 리뷰] Defining maximum acceptable latency of AI-enhanced CAI tools

Claudio Fantinuoli, Maddalena Montecchio|arXiv (Cornell University)|2022. 01. 08.

Interpreting and Communication in Healthcare인용 수 4

한 줄 요약

이 연구는 동시통역에서 인공지능(AI) 강화된 컴퓨터 지원 통역(CAI) 도구의 최대 허용 지연 시간을 조사한다. 전문 통역사들을 대상으로 한 실증 실험을 통해 3초 이내의 시스템 지연은 정확성이나 유창성에 심각한 영향을 미치지 않음을 발견하여, 향후 세대의 CAI 도구에 더 높은 지연을 가진 맥락 인식 기반 자연어 처리(NLP) 기능을 안전하게 통합할 수 있음을 시사한다.

ABSTRACT

Recent years have seen an increasing number of studies around the design of computer-assisted interpreting tools with integrated automatic speech processing and their use by trainees and professional interpreters. This paper discusses the role of system latency of such tools and presents the results of an experiment designed to investigate the maximum system latency that is cognitively acceptable for interpreters working in the simultaneous modality. The results show that interpreters can cope with a system latency of 3 seconds without any major impact in the rendition of the original text, both in terms of accuracy and fluency. This value is above the typical latency of available AI-based CAI tools and paves the way to experiment with larger context-based language models and higher latencies.

연구 동기 및 목표

• AI 강화된 CAI 도구를 사용할 때 통역사들이 인지적으로 견딜 수 있는 최대 시스템 지연 시간을 규명하는 것.
• 지연 시간 증가가 통역 성능의 정확성, 유창성 및 인지 부하에 미치는 영향을 평가하는 것.
• 현재 중간 수준의 지연을 가진 AI 기반 CAI 도구가 더 복잡한 맥락 기반 NLP 기능을 지원하도록 안전하게 연장될 수 있는지 평가하는 것.
• 이론적 기반으로서 귀담기-목소리 간격(EVS)을 손상시키지 않고도 통역 품질을 유지하는 지연 시간의 임계값을 실증적으로 설정하는 것.

제안 방법

• 전문 통역사들이 ASR 시뮬레이션 시스템으로부터 인위적으로 지연된 숫자 제안을 받는 방식으로 실시된 실험적 설정을 설계하였다.
• 지연 시간은 다섯 가지 조건(1, 2, 3, 4, 5초)으로 체계적으로 변동시켰다.
• 성능 평가는 자극 기반 및 세그먼트 기반 평가를 통해 이루어졌으며, 숫자 정확도, 참조어 정확도, 불순화도 및 유창성에 중점을 두었다.
• 통역사들의 번역 결과는 다양한 지연 수준에서 정밀도, 유창성 및 비언어적 품질 측면에서 평가되었다.
• 평가 프레임워크에는 정량적 지표(정확도 비율)와 정성적 평가(유창성, 불순화도)가 포함되었다.
• 다수의 통역사를 대상으로 한 내부 설계를 통해 지연 조건 간 성능 추세를 평가하였다.

실험 결과

연구 질문

• RQ1 통역사들이 해석 정확도에 심각한 하락 없이 견딜 수 있는 최대 시스템 지연 시간은 얼마인가?
• RQ2 지연 시간 증가가 통역사의 번역 유창성 및 불순화도에 어떤 영향을 미치는가?
• RQ3 3초 이내의 지연 시간이 인지 부하 또는 동시통역의 품질에 측정 가능한 영향을 미치는가?
• RQ4 통역사들이 성능에 영향을 주지 않고 3초 이내의 지연 제안을 수용하기 위해 귀담기-목소리 간격(EVS)을 성공적으로 조정할 수 있는가?

주요 결과

• 3초 지연 시 최고의 숫자 정확도(98.85%)를 기록하여 시간이 지남에 따라 적응 또는 학습 효과가 있을 가능성이 확인되었다.
• 4초 지연 시 숫자 정확도는 93.14%로 하락하였고, 5초 지연 시에는 다시 94.86%로 감소하여 명백한 부정적 영향을 보였다.
• 참조어 정확도는 3초 지연 시 100%로 최고에 도달했고, 4초 지연 시 94.28%로 하락하였으며, 5초 지연 시에는 85.71%로 감소하였다.
• 4초 지연 시 숫자 발음의 불순화도가 25.71%에 도달하여 모든 조건 중에서 가장 높았으며, 이는 인지 부담 증가를 시사한다.
• 유창성 평가 점수는 4초 지연 시에 명백히 하락하였고, 5초 지연 시에 가장 낮아져서 제출 품질 악화가 확인되었다.
• 세그먼트 수준의 정확도는 3초 지연까지는 높았으며, 4초 이후로는 미미한 감소가 관찰되어 3초 지연에서 임계값 효과가 존재하는 것으로 나타났다.