[論文レビュー] Improving CAT Tools in the Translation Workflow: New Approaches and Evaluation

Mihaela Vela, Santanu Pal+3 more|arXiv (Cornell University)|Aug 16, 2019

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、TMの提案に対して独自の色分け方式を採用し、TER、Needleman-Wunsch、Luceneスコアを用いた類似度ベースのリランキングにより、翻訳の後処理を効率化するウェブベースのCATツール「CATaLog Online」を紹介する。ユーザー研究の結果、翻訳者はMT出力を好む傾向にあり、色分けされたインターフェースが意思決定と編集効率を著しく向上させると判明したが、スペルチェッカー やキーボードショートカットなどの機能不足により、使いやすさに限界があることが明らかになった。

ABSTRACT

This paper describes strategies to improve an existing web-based computer-aided translation (CAT) tool entitled CATaLog Online. CATaLog Online provides a post-editing environment with simple yet helpful project management tools. It offers translation suggestions from translation memories (TM), machine translation (MT), and automatic post-editing (APE) and records detailed logs of post-editing activities. To test the new approaches proposed in this paper, we carried out a user study on an English--German translation task using CATaLog Online. User feedback revealed that the users preferred using CATaLog Online over existing CAT tools in some respects, especially by selecting the output of the MT system and taking advantage of the color scheme for TM suggestions.

研究の動機と目的

• CATツールのインターフェースとTMリtrieバル戦略の改善を通じて、翻訳の後処理生産性を向上させること。
• 視覚的デザイン、特に色分けの有効性が翻訳者の意思決定と編集効率に与える影響を評価すること。
• 実世界の後処理環境において、MT、TM、APE出力の間でのユーザーの好みを比較すること。
• 現在のCATツールにおける使いやすさの制限要因を特定し、翻訳者からのフィードバックに基づいて改善策を提案すること。
• 段階的MT/APE開発および翻訳プロセス研究のための、詳細な後処理ログの収集

提案手法

• CATaLog Onlineは、TM、MT、APEエンジンからの翻訳提案を統合したウェブベースのインターフェースを提供する。
• 新規のセグメント内色分け方式により、TM提案内の一致する部分と関係のない部分を強調表示し、後処理のガイドラインを提供する。
• 類似度マッチングには、TER、Needleman-Wunschアラインメント、Luceneリtrievalスコアを組み合わせ、TMマッチの関連性を再順序付けする。
• すべての後処理活動が構造化されたXML形式でログ記録され、後続の分析や段階的学習に活用可能である。
• 英語→ドイツ語翻訳タスクを対象に、プロフェッショナル翻訳者を対象にユーザースタディを実施し、使いやすさと好みを評価した。
• インターフェースデザイン、機能の有用性、認知的負荷の程度に関するフィードバックを収集し、時間と作業量の相関関係や編集パターンに注目した。

実験結果

リサーチクエスチョン

• RQ1 TM提案の色分け表示が、翻訳者の意思決定と編集効率に与える影響は何か？
• RQ2 後処理ワークフローにおいて、翻訳者がMT、TM、APE出力のうちどれを好むか？
• RQ3 編集回数と後処理時間の相関関係はどの程度であり、翻訳者によってどのように変化するか？
• RQ4 キーボードショートカットやスペルチェッカーの欠如といった使いやすさの制限要因が、CATツールにおけるユーザー体験に与える影響は？
• RQ5 後処理活動の詳細なログ記録は、段階的MTおよびAPEシステム開発を支援できるか？

主な発見

• 翻訳者は、TMマッチが意味的に関連していても、MT出力を明確に好んで使用した。
• TM断片に対する色分け方式は、編集すべき部分を特定するのを翻訳者に著しく支援し、意思決定の効率を向上させた。
• 編集回数と後処理時間の間には低い相関関係が認められ、後処理時間は主観的で翻訳者に依存する指標であることが示された。
• 最も頻度の高かった編集タイプは置換であり、次に挿入、削除、シフトの順に多かった。これは一般的な後処理パターンを反映している。
• ユーザーはインターフェースのレイアウトや提案の配置が役立ったと報告したが、スペルチェッカー、キーボードショートカット、コンcordancer機能の欠如を批判した。
• XML形式での後処理活動の詳細なログ記録は、今後の段階的MTおよびAPE学習の研究リソースとして非常に価値がある。