[논문 리뷰] Improving CAT Tools in the Translation Workflow: New Approaches and Evaluation

Mihaela Vela, Santanu Pal외 3명|arXiv (Cornell University)|2019. 08. 16.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 TM 제안에 대한 새로운 색상 인코딩 체계와 TER, Needleman-Wunsch, Lucene 점수를 활용한 유사도 기반 검색을 통해 번역 후 편집을 향상시키는 웹 기반 CAT 도구인 CATaLog Online를 소개한다. 사용자 연구 결과, 번역가들은 MT 출력을 선호하며, 색상 인코딩 인터페이스가 의사결정 및 편집 효율성을 크게 향상시킨다는 것을 확인했지만, 철자 검사기 및 키보드 단축키와 같은 기능 부족으로 인해 사용성은 제한됨.

ABSTRACT

This paper describes strategies to improve an existing web-based computer-aided translation (CAT) tool entitled CATaLog Online. CATaLog Online provides a post-editing environment with simple yet helpful project management tools. It offers translation suggestions from translation memories (TM), machine translation (MT), and automatic post-editing (APE) and records detailed logs of post-editing activities. To test the new approaches proposed in this paper, we carried out a user study on an English--German translation task using CATaLog Online. User feedback revealed that the users preferred using CATaLog Online over existing CAT tools in some respects, especially by selecting the output of the MT system and taking advantage of the color scheme for TM suggestions.

연구 동기 및 목표

• CAT 도구 인터페이스와 TM 검색 전략을 개선하여 번역 후 편집 생산성을 향상시키는 것.
• 특히 색상 인코딩을 포함한 시각적 디자인이 번역가의 의사결정 및 편집 효율성에 미치는 영향을 평가하는 것.
• 실제 번역 후 편집 환경에서 MT, TM, APE 출력 간 사용자 선호도를 비교하는 것.
• 현재 CAT 도구의 사용성 한계를 특정하고 번역가 피드백을 바탕으로 개선 방안을 제안하는 것.
• 점진적인 MT/APE 및 번역 프로세스 연구를 위한 상세한 후속 편집 로그 수집

제안 방법

• CATaLog Online는 웹 기반 인터페이스에서 TM, MT, APE 엔진의 번역 제안을 통합한다.
• 새로운 세그먼트 내 색상 인코딩 체계를 통해 TM 제안의 일치 및 불필요한 조각을 강조하여 후속 편집을 안내한다.
• 유사도 매칭은 TER, Needleman-Wunsch 정렬 및 Lucene 검색 점수를 조합하여 TM 매칭의 관련성을 재정렬한다.
• 모든 후속 편집 활동은 후속 분석 및 점진적 학습을 위해 구조화된 XML 형식으로 로깅된다.
• 실제 번역 후 편집 환경에서 전문 번역가들을 대상으로 영어-독어 번역 작업을 수행한 사용자 연구를 실시하여 사용성과 선호도를 평가했다.
• 인터페이스 디자인, 기능 유용성, 인지 부하 감지에 중점을 두고 피드백을 수집하였으며, 시간-노력 상관관계 및 편집 패턴을 분석함.

실험 결과

연구 질문

• RQ1 TM 제안의 색상 인코딩 표현 방식이 번역가의 의사결정 및 편집 효율성에 어떤 영향을 미치는가?
• RQ2 후속 편집 워크플로우에서 번역가들이 MT, TM, 또는 APE 출력 중 어느 것을 더 선호하는가?
• RQ3 편집 수와 후속 편집 시간 간 상관관계는 어느 정도이며, 이는 번역가에 따라 어떻게 달라지는가?
• RQ4 키보드 단축키나 철자 검사기와 같은 주요 기능 부재로 인한 사용성 한계가 CAT 도구 사용자 경험에 어떤 영향을 미치는가?
• RQ5 후속 편집 활동의 상세 로깅이 점진적인 MT 및 APE 시스템 개발을 지원할 수 있는가?

주요 결과

• TM 매칭이 의미적으로 관련이 있음에도 불구하고, 번역가들은 TM 제안보다 MT 출력을 명백히 선호함.
• TM 조각에 대한 색상 인코딩 체계가 번역가가 편집할 부분을 식별하는 데 크게 기여하여 의사결정 효율성이 향상됨.
• 편집 수와 후속 편집 시간 간 상관관계가 낮아, 편집 시간이 번역가에 따라 주관적이고 개인에 의존적인 측정 기준임을 시사함.
• 가장 흔한 편집 유형은 교체이며, 이어 삽입, 삭제, 이동 순서를 보이며, 일반적인 후속 편집 패턴을 반영함.
• 사용자들은 인터페이스 레이아웃과 제안 배치가 유용하다고 평가했지만, 철자 검사기, 키보드 단축키, Concordancer 기능 부재를 비판함.
• XML 형식으로 기록된 상세한 후속 편집 활동 로그는 향후 점진적 MT 및 APE 훈련 연구를 위한 귀중한 자원을 제공함.