[论文解读] Improving CAT Tools in the Translation Workflow: New Approaches and Evaluation

Mihaela Vela, Santanu Pal+3 more|arXiv (Cornell University)|Aug 16, 2019

Natural Language Processing Techniques被引用 7

一句话总结

本文介紹了 CATaLog Online，這是一款基於網頁的電腦輔助翻譯工具，透過創新性的顏色編碼機制呈現翻譯記憶庫建議，並結合 TER、Needleman-Wunsch 和 Lucene 分數進行改進的相似度檢索，以提升翻譯後-editing 效能。使用者研究顯示，翻譯員偏好使用機器翻譯輸出，且認為顏色編碼介面顯著提升決策效率與編輯效能，但由於缺少拼字檢查與捷徑鍵等功能， usability 受到限制。

ABSTRACT

This paper describes strategies to improve an existing web-based computer-aided translation (CAT) tool entitled CATaLog Online. CATaLog Online provides a post-editing environment with simple yet helpful project management tools. It offers translation suggestions from translation memories (TM), machine translation (MT), and automatic post-editing (APE) and records detailed logs of post-editing activities. To test the new approaches proposed in this paper, we carried out a user study on an English--German translation task using CATaLog Online. User feedback revealed that the users preferred using CATaLog Online over existing CAT tools in some respects, especially by selecting the output of the MT system and taking advantage of the color scheme for TM suggestions.

研究动机与目标

• 透過改進電腦輔助翻譯工具介面與翻譯記憶庫檢索策略，提升翻譯後-editing 的生產力。
• 評估視覺設計（特別是顏色編碼）對翻譯員決策與編輯效率的影響。
• 在真實世界的後-editing 環境中，比較翻譯員對機器翻譯、翻譯記憶庫與自動化翻譯後-editing 輸出的偏好。
• 識別現有電腦輔助翻譯工具的可用性限制，並根據翻譯員反饋提出改進建議。
• 收集詳細的後-editing 記錄，以支援增量式機器翻譯與自動化翻譯後-editing 的研究。

提出的方法

• CATaLog Online 在單一基於網頁的介面中整合來自翻譯記憶庫、機器翻譯與自動化翻譯後-editing 引擎的翻譯建議。
• 提出一種新型的段落內顏色編碼機制，用以突出顯示翻譯記憶庫建議中相符與不相關的片段，以引導後-editing 操作。
• 相似度匹配結合 TER、Needleman-Wunsch 對齊與 Lucene 檢索分數，重新排序翻譯記憶庫匹配結果，以提升相關性。
• 系統以結構化 XML 格式記錄所有後-editing 活動，以利後續分析與增量式學習。
• 針對英德翻譯任務，對專業翻譯員進行使用者研究，以評估可用性與偏好。
• 收集關於介面設計、功能實用性與主觀認知負荷的反饋，特別關注時間-努力相關性與編輯模式。

实验结果

研究问题

• RQ1 顏色編碼的翻譯記憶庫建議呈現方式如何影響翻譯員的決策與編輯效率？
• RQ2 在後-editing 工作流程中，翻譯員對機器翻譯、翻譯記憶庫或自動化翻譯後-editing 輸出的相對偏好為何？
• RQ3 編輯次數與後-editing 時間之間的相關性有多高？此相關性在不同翻譯員之間如何變化？
• RQ4 缺少捷徑鍵或拼字檢查等功能的可用性限制，如何影響翻譯員在電腦輔助翻譯工具中的使用體驗？
• RQ5 詳細記錄後-editing 活動是否能支援增量式機器翻譯與自動化翻譯後-editing 系統的開發？

主要发现

• 即使翻譯記憶庫匹配結果語意相關，翻譯員仍明顯偏好使用機器翻譯輸出，而非翻譯記憶庫建議。
• 針對翻譯記憶庫片段的顏色編碼機制顯著協助翻譯員識別需編輯的內容，進而提升決策效率。
• 編輯次數與後-editing 時間之間的相關性較低，顯示編輯時間是一種主觀且依賴翻譯員的衡量指標。
• 最常見的編輯類型為取代，其次是插入、刪除與位移，反映出常見的後-editing 模式。
• 使用者表示介面佈局與建議排列方式有幫助，但批評缺少拼字檢查、捷徑鍵與共現檢索功能。
• 系統以 XML 格式詳細記錄後-editing 活動，為未來增量式機器翻譯與自動化翻譯後-editing 訓練提供了寶貴的研究資源。