[論文レビュー] Defining maximum acceptable latency of AI-enhanced CAI tools

Claudio Fantinuoli, Maddalena Montecchio|arXiv (Cornell University)|Jan 8, 2022

Interpreting and Communication in Healthcare被引用数 4

ひとこと要約

本研究は、同時通訳におけるAI強化型コンピュータ支援通訳（CAI）ツールの許容可能な最大遅延を調査する。実地実験を通じて、専門通訳者を対象にした結果、システム遅延が3秒までであれば、正確性や流暢さに顕著な影響がないことが判明した。これは、次世代のCAIツールに、より高い遅延を伴う文脈認識型NLP機能を安全に統合できる可能性を示唆している。

ABSTRACT

Recent years have seen an increasing number of studies around the design of computer-assisted interpreting tools with integrated automatic speech processing and their use by trainees and professional interpreters. This paper discusses the role of system latency of such tools and presents the results of an experiment designed to investigate the maximum system latency that is cognitively acceptable for interpreters working in the simultaneous modality. The results show that interpreters can cope with a system latency of 3 seconds without any major impact in the rendition of the original text, both in terms of accuracy and fluency. This value is above the typical latency of available AI-based CAI tools and paves the way to experiment with larger context-based language models and higher latencies.

研究の動機と目的

• AI強化型CAIツールを用いた同時通訳において、通訳者が認知的に耐えられる最大のシステム遅延を特定すること。
• 遅延の増加が通訳者の正確性、流暢さ、認知的負荷に与える影響を評価すること。
• 現在のAIベースのCAIツールが中程度の遅延を伴っても、より複雑な文脈に基づくNLP機能を安全に拡張できるかどうかを評価すること。
• 実地的に、通訳の品質を損なわず、耳-発話スパン（EVS）に影響を与えない範囲でのシステム遅延の閾値を確立すること。

提案手法

• 専門通訳者がライブスピーチを通訳する実験設定を設計し、ASRシミュレーションシステムからの番号提案に意図的に遅延を導入した。
• 遅延を5つの条件（1、2、3、4、5秒）に系統的に変化させた。
• 性能評価には、刺激ベースとセグメントベースの両方のアセスメントを用い、番号の正確性、参照対象の正確性、不順応、流暢さに注目した。
• 通訳者の発話内容を、正確性、流暢さ、および非言語的質の観点から、異なる遅延レベルごとにスコア付けした。
• 評価フレームワークには、定量的指標（正確性パーセンテージ）と定性的評価（流暢さ、不順応）の両方が含まれた。
• 複数の通訳者を用いた被験者内設計を採用し、異なる遅延条件における性能傾向を評価した。

実験結果

リサーチクエスチョン

• RQ1 通訳者が通訳の正確性に顕著な低下を示さない範囲での最大システム遅延は何か？
• RQ2 システム遅延の増加が通訳発話の流暢さおよび不順応に与える影響は何か？
• RQ3 3秒までの遅延が、認知的負荷または同時通訳の品質に測定可能な影響を与えるか？
• RQ4 通訳者が3秒までの遅延を伴う提案に耳-発話スパン（EVS）を適応させることで、性能を損なわずに対応できるか？

主な発見

• 最高の番号正確性（98.85％）は3秒の遅延で達成され、時間の経過に伴う適応または学習効果の可能性が示唆された。
• 4秒の遅延では番号正確性が93.14％に低下し、5秒ではさらに94.86％に低下した。これは顕著な負の影響を示している。
• 参照対象の正確性は3秒の遅延で100％にピークに達し、4秒では94.28％に低下し、5秒では85.71％に低下した。
• 4秒の遅延で番号発話の不順応率が25.71％に達し、全条件の中で最も高かった。これは認知的負荷の増加を示唆している。
• 流暢さのスコアは4秒で顕著に低下し、5秒で最も低くなった。これは発話品質の劣化を示している。
• セグメントレベルの正確性は3秒までの遅延で高い水準を維持し、4秒以降にわずかな低下が見られた。これは3秒で閾値効果が現れている可能性を示唆している。