[논문 리뷰] Automated Postediting of Documents

Kevin Knight, Ishwar Chander|ArXiv.org|1994. 07. 29.

Natural Language Processing Techniques참고 문헌 12인용 수 168

한 줄 요약

이 논문은 온라인 텍스트에서 유도된 200,000개 이상의 규칙를 기반으로 훈련된 이식성 있고 규칙 기반의 자동 후처리 모듈을 제안한다. 이 모듈은 영어 명사구의 冠사 선택을 위한 것으로, 고빈도의 어근 명사에 기반한 특징 기반 학습과 결합된 의사결정 트리를 사용하여 테스트 인스턴스의 77%에서 81%의 정확도를 달성한다. 이는 인간 수준의 성능에 가까운 결과이며, 기계 번역 시스템 간에 이식 가능하고 재사용 가능한 후처리 모듈의 가능성을 입증한다.

ABSTRACT

Large amounts of low- to medium-quality English texts are now being produced by machine translation (MT) systems, optical character readers (OCR), and non-native speakers of English. Most of this text must be postedited by hand before it sees the light of day. Improving text quality is tedious work, but its automation has not received much research attention. Anyone who has postedited a technical report or thesis written by a non-native speaker of English knows the potential of an automated postediting system. For the case of MT-generated text, we argue for the construction of postediting modules that are portable across MT systems, as an alternative to hardcoding improvements inside any one system. As an example, we have built a complete self-contained postediting module for the task of article selection (a, an, the) for English noun phrases. This is a notoriously difficult problem for Japanese-English MT. Our system contains over 200,000 rules derived automatically from online text resources. We report on learning algorithms, accuracy, and comparisons with human performance.

연구 동기 및 목표

• 기계 번역, 광학 문자 인식, 비모국어 사용자로부터 유도된 저수준에서 중간 수준의 영어 텍스트 향상을 위한 분리 가능하고 재사용 가능한 후처리 모듈을 개발하기 위해.
• 특히 일본어-영어 기계 번역에서 어려운 영어 명사구의 冠사 선택 문제를 해결하기 위해. 인간의 후처리 작업은 시간이 오래 걸리고 실수의 위험이 크다.
• 특정 기계 번역 시스템의 내부 아키텍처에 종속되지 않고 독립적으로 작동하는 시스템을 만들기 위해. 이는 이식성과 광범위한 재사용 가능성을 보장한다.
• 대규모 텍스트 코퍼스에서 자동 규칙 학습을 통해 인간 수준의 성능에 가까운 정확도를 달성하기 위해.
• 복잡한 문법적 작업조차도 언어적 특징에 기반한 통계적 학습을 통해 고정밀도, 일반적인 후처리 모듈을 구축할 수 있음을 입증하기 위해.

제안 방법

• 시스템은 Quinlan(1986)이 제안한 의사결정 트리 학습 방법을 사용하여 어순, 어근 명사 빈도, 주변 단어 등의 언어적 특징 간의 상호작용을 모델링한다.
• 특징으로는 어근 명사, 그 문법적 범주, 명사구 앞뒤로 각각 두 단어를 포함하며, 각 특징이 冠사 예측에 투표하는 방식으로 기여한다.
• 정보 이득을 계산하기 위해 엔트로피 기반 분할 기법을 사용한다: 각 노드에서 최적의 특징을 선택하기 위해 H(p) = -p log p - (1-p) log(1-p)를 최소화한다.
• 계산 부담을 줄이기 위해 훈련 인스턴스 수가 4개 미만인 특징은 기각하고, 각 노드에서 p(‘the’일 확률)에 대해 닫힌 형태의 근사치를 사용한다.
• 훈련 데이터는 고빈도 어근 명사(예: 'president')별로 분할되며, 가장 흔한 1,600개의 어근 명사에 대해 별도의 의사결정 트리를 구축한다. 이는 테스트 인스턴스의 77%를 커버한다.
• 저빈도 어근 명사(테스트 인스턴스의 23%)에 대해서는 기본적으로 'the'로 추측하며, 이 경우 66%의 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 기계 번역 시스템의 내부 표현 방식에 의존하지 않고, 다양한 기계 번역 시스템 간에 이식 가능하고 분리 가능한 후처리 모듈을 구축할 수 있는가?
• RQ2 대규모 텍스트 코퍼스에서 자동 학습을 통해 영어 명사구의 冠사 선택에서 인간 후처리자 수준의 정확도에 도달할 수 있는가?
• RQ3 훈련 데이터 크기와 어근 명사의 빈도에 따라 성능은 어떻게 변하는가? 저빈도 명사들은 공유된 특징을 통해 효과적으로 그룹화될 수 있는가?
• RQ4 의사결정 트리 모델이 어순, 문맥 등의 다수의 언어적 특징을 효과적으로 통합하여 모호한 冠사 사용을 해결할 수 있는가?

주요 결과

• 훈련 데이터의 90%로 훈련했을 때, 'president'로 끝나는 명사구에서 시스템은 171개의 노드를 가진 의사결정 트리로 테스트 세트에서 89%의 정확도를 달성했다.
• 가장 흔한 1,600개의 어근 명사(테스트 인스턴스의 77%를 커버)에 대해 시스템은 81%의 정확도를 달성했으며, 인간 수준의 성능에 가까웠다.
• 저빈도 어근 명사가 포함된 나머지 23%의 인스턴스에서는 기본적으로 'the'로 추측하여 66%의 정확도를 달성했으며, 전체 정확도는 78%였다.
• 학습 곡선 분석 결과, 더 많은 훈련 데이터를 사용할수록 성능이 점진적으로 향상되었으며, 'stock'으로 끝나는 구문에서는 94%의 정확도, 'year'로 끝나는 구문에서는 90%의 정확도를 기록했다.
• 희귀 특징을 잘라내고 p 값에 대해 닫힌 형태의 근사치를 사용하는 방법 덕분에, 40만 개 이상의 예제와 3만 개의 특징을 가진 데이터셋에서도 효율적인 훈련이 가능했다.
• 결과적으로 고정밀도, 일반적인 후처리 모듈을 자동 규칙 학습을 통해 구축할 수 있음을 입증했으며, 이는 개별 기계 번역 시스템에 개선 사항을 하드코딩하는 것에 비해 확장 가능한 대안을 제공한다.