[논문 리뷰] Understanding Pre-Editing for Black-Box Neural Machine Translation

Rei Miyata, Atsushi Fujita|arXiv (Cornell University)|2021. 02. 05.

Natural Language Processing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 연구는 세 가지 번역 방향, 두 개의 NMT 시스템, 네 가지 텍스트 도메인을 통해 총 6,652개의 전편집 사례를 수집하여 블랙박스 신경 기계 번역(NMT) 시스템에서 인간의 전편집 실천 방식을 조사한다. 연구 결과, 문장의 의미 명확성과 문법적 명확성을 높이는 것이 문장 단순화나 길이 단축보다 번역 품질 향상에 더 효과적임을 밝혀내며, 전편집 작업의 다양한 유형이 NMT 출력 품질에 미치는 영향에 대해 예측 가능한 패턴을 규명한다. 다만 전체적으로는 예측 불가능성이 높은 편이다.

ABSTRACT

Pre-editing is the process of modifying the source text (ST) so that it can be translated by machine translation (MT) in a better quality. Despite the unpredictability of black-box neural MT (NMT), pre-editing has been deployed in various practical MT use cases. Although many studies have demonstrated the effectiveness of pre-editing methods for particular settings, thus far, a deep understanding of what pre-editing is and how it works for black-box NMT is lacking. To elicit such understanding, we extensively investigated human pre-editing practices. We first implemented a protocol to incrementally record the minimum edits for each ST and collected 6,652 instances of pre-editing across three translation directions, two MT systems, and four text domains. We then analysed the instances from three perspectives: the characteristics of the pre-edited ST, the diversity of pre-editing operations, and the impact of the pre-editing operations on NMT outputs. Our findings include the following: (1) enhancing the explicitness of the meaning of an ST and its syntactic structure is more important for obtaining better translations than making the ST shorter and simpler, and (2) although the impact of pre-editing on NMT is generally unpredictable, there are some tendencies of changes in the NMT outputs depending on the editing operation types.

연구 동기 및 목표

• 블랙박스 NMT 시스템에서 인간의 전편집이 번역 품질을 어떻게 향상시키는지 이해하기 위해.
• 전편집된 원본 텍스트의 특성과 NMT 출력에 미치는 영향을 조사하기 위해.
• 다양한 전편집 작업의 다양성과 NMT 성능에 미치는 영향을 분석하기 위해.
• 강력한 전편집 전략 및 NMT를 위한 자동 도구 개발을 위한 경험적 통찰을 제공하기 위해.

제안 방법

• 세 가지 번역 방향에 걸쳐 6,652개의 원본 텍스트 인스턴스에 대해 최소한의 편집을 점진적으로 기록할 수 있도록 인간-중심의 프로토콜을 구현하였다.
• 전편집은 구글 및 메리언 NMT 두 가지 NMT 시스템과 뉴스, 기술, 의료, 법적 등 네 가지 텍스트 도메인에서 수집되었다.
• 언어학적 특성(예: 길이, 문장 구조의 복잡성, 의미의 명확성 등)을 기반으로 전편집된 원본 텍스트를 분석하였다.
• 편집 작업은 구조적, 기능적, 어구 수준, 철자 유형으로 분류되었으며, NMT 출력에 미치는 영향은 TER(번역 편집률)를 사용하여 측정하였다.
• 원본 텍스트의 변화와 MT 출력의 변화 간 상관관계를 분석하여 예측 가능성 여부를 평가하였다.
• TER를 주요 지표로 사용하여 각 편집 작업 유형이 NMT 출력에 미치는 영향의 크기를 평가하였다.

실험 결과

연구 질문

• RQ1 전편집된 원본 텍스트의 어떤 언어학적 특성이 NMT 출력 품질 향상과 가장 강하게 상관관계를 가지는가?
• RQ2 예: 구조적 편집, 어구 재정렬,标점 변경 등 다양한 유형의 편집 작업이 NMT 출력 변화에 어떻게 영향을 미치는가?
• RQ3 다양한 번역 방향과 MT 시스템 간에 전편집의 영향이 어느 정도 예측 가능할 수 있는가?
• RQ4 NMT의 본질적 예측 불가능성에도 불구하고 특정 편집 작업이 번역 품질에 영향을 주는 일관된 패턴이 존재하는가?

주요 결과

• 원본 텍스트의 의미 명확성과 문법적 명확성을 높이는 것이 문장 길이 단축이나 문장 단순화보다 NMT 품질 향상에 더 효과적이다.
• 전편집이 NMT 출력에 미치는 영향은 일반적으로 예측 불가능하지만, 일부 편집 작업 유형은 번역 출력에 대한 영향에서 일관된 추세를 보인다.
• 구조적 편집(예: 절 재정렬, 문장 구조 변경)이 TER로 측정했을 때 NMT 출력에 가장 큰 영향을 미쳤다.
• 어구 재정렬(P03)은 NMT 출력에 상대적으로 작은 영향을 미쳤으며, 이는 현대 NMT 시스템이 어구 수준의 등가성을 위치 이동에도 불구하고 유지하고 있음을 시사한다.
• 구성 요소 마커의 사용 또는 제거(P02)는 인간의 난이도에 거의 영향을 주지 않음에도 불구하고 NMT 출력에 크게 영향을 미쳤다. 이는 토큰화 방식의 변화 때문일 가능성이 높다.
• 일본어-한국어 번역에서 원본 텍스트 편집과 NMT 출력 변화 간 중간 정도의 양의 상관관계(r = 0.580, ρ = 0.574)를 관찰하여, 밀접한 관련 언어 쌍에서는 더 높은 예측 가능성성을 확인하였다.