[논문 리뷰] The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations

Lasha Abzianidze, Johannes Bjerva외 6명|University of Groningen research database (University of Groningen / Centre for Information Technology)|2017. 02. 13.

Natural Language Processing Techniques참고 문헌 18인용 수 14

한 줄 요약

병행 의미 은행(Parallel Meaning Bank, PMB)은 영어, 독일어, 네덜란드어, 이탈리아어로 구성된 다국어 코퍼스를 제공하며, 이는 교차 언어적 투영을 통해 공통의 조합적 의미 표현을 갖춘다. 영어에 대해 자동으로 생성된 준수동적 의미 주석을 문법적 및 의미적 정렬을 통해 정렬된 번역문에 투영함으로써, PMB는 교차 언어적 조합적 의미론을 가능하게 하며, 최소한의 수동적 노력으로 다국어 의미 분석기의 개발을 지원한다.

ABSTRACT

The Parallel Meaning Bank is a corpus of translations annotated with shared, formal meaning representations comprising over 11 million words divided over four languages (English, German, Italian, and Dutch). Our approach is based on cross-lingual projection: automatically produced (and manually corrected) semantic annotations for English sentences are mapped onto their word-aligned translations, assuming that the translations are meaning-preserving. The semantic annotation consists of five main steps: (i) segmentation of the text in sentences and lexical items; (ii) syntactic parsing with Combinatory Categorial Grammar; (iii) universal semantic tagging; (iv) symbolization; and (v) compositional semantic analysis based on Discourse Representation Theory. These steps are performed using statistical models trained in a semi-supervised manner. The employed annotation models are all language-neutral. Our first results are promising.

연구 동기 및 목표

• 다양한 언어 간에 공통의 형식적 의미 표현을 갖춘 다국어 코퍼스를 개발하여 교차 언어적 조합적 의미론을 지원한다.
• 영어 의미 주석의 고품질 자동 생성 및 번역된 텍스트에 대한 투영을 통해 수동 의미 주석의 비용과 노력을 줄인다.
• 번역에서의 의미 이탈에 대한 체계적 연구를 가능하게 하고 다국어 의미 분석기의 개발을 지원한다.
• 새로운 언어에 대해 최소한의 재학습으로 적용 가능한 확장 가능한 언어 중립적 의미 주석 프레임워크를 구축한다.

제안 방법

• PMB는 다섯 단계 주석 파이프라인을 사용한다: 문장 및 어휘 분할, 조합적 문법형 문장 구조 분석(CCG parsing), 보편적 의미 태깅, 기호화, 그리고 논리적 의미 분석을 위한 의사소통 의미 이론(DRT) 기반 조합적 의미 분석.
• 의미 주석은 기존 도구와 수동 수정된 데이터를 기반으로 학습된 준수동적 통계 모델을 사용해 영어에서 먼저 생성된다.
• 교차 언어적 투영은 히우리스틱 문장 정렬과 GIZA++를 사용한 어휘 정렬을 통해 영어와 번역문 간의 문장 및 어휘 정렬을 통해 달성된다.
• 동일한 DRT 기반 의미 표현이 번역이 의미를 유지한다는 가정 하에 다른 언어로 투영되며, 언어 간에 공통의 형식적 의미론이 가능해진다.
• 모델 성능 향상을 위해 충돌을 해결하고, 골드, 실버, 브론즈 주석 기준을 구분하기 위해 수동 수정(‘지혜의 조각들’이라 불림)이 사용된다.
• 수동 수정된 데이터로 모델을 반복적으로 재학습함으로써 정확도를 향상시키고 변화하는 주석 지침에 적응한다.

실험 결과

연구 질문

• RQ1 의미 분석 및 정렬을 통해 영어의 조합적 의미 표현을 다른 언어의 번역문에 신뢰성 있게 투영할 수 있는가?
• RQ2 기존 자료를 새로 구축하는 것과 비교할 때, 교차 언어적 투영이 다국어 의미 주석에서 수동 주석의 필요성을 얼마나 줄이는가?
• RQ3 언어 중립적 의미 태깅과 CCG, DRT와 같은 기호적 형식 체계의 사용이 교차 언어적 의미 일관성을 얼마나 효과적으로 가능하게 하는가?
• RQ4 수동 주석의 ‘지혜의 조각들’이 여러 언어에서 모델 수렴과 주석 품질에 어떤 영향을 미치는가?
• RQ5 동일한 의미 주석 파이프라인이 게르만어 외에 이탈리아어와 같은 어족적으로 다양성이 높은 언어에도 효과적으로 적용될 수 있는가?

주요 결과

• PMB 코퍼스는 네 언어에서 285,154개의 문서에 걸쳐 1,130만 개 이상의 토큰을 포함하고 있으며, 5%의 문서가 네 언어 모두에 존재한다.
• 네덜란드어에서 유의미한 성과를 달성하여 교차 언어적 투영이 조합적 의미론에 적용 가능한 것으로 입증되었다.
• 골드 표준 주석은 영어 6,810건, 독일어 4,757건, 이탈리아어 2,843건, 네덜란드어 945건의 문서에 설정되어 고품질 기준 데이터를 확보했다.
• ‘지혜의 조각들’의 사용은 모호하거나 충돌이 발생하는 경우에 집중함으로써 모델 성능을 크게 향상시켰다.
• 파이프라인은 영어 의미 주석을 재사용하고 다른 언어에 대한 수동 노력 최소화를 통해 주석 비용을 감소시켰다.
• 코퍼스는 웹 인터페이스를 통해 공개되며, 안정적인 릴리스 버전이 다운로드 가능하여 재현 가능성과 향후 연구를 지원한다.