[논문 리뷰] Acquiring Annotated Data with Cross-lingual Explicitation for Implicit Discourse Relation Classification

Wei Shi, Frances Yung외 1명|arXiv (Cornell University)|2018. 08. 30.

Natural Language Processing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 다국어 번역에서 인간 번역가가 삽입한 연결어를 활용하여 암묵적 논리관계 분류를 위한 고품질의 애너테이션 데이터를 확보하기 위한 다국어 명시화 방법을 제안한다. 프랑스어, 독일어, 체코어에서의 역번역을 통해 다국어 간 다수결 투표를 적용함으로써 기준 모델 대비 분류 성능을 크게 향상시켰으며, 이중 언어 일치 시 가장 우수한 성능을 기록하였다.

ABSTRACT

Implicit discourse relation classification is one of the most challenging and important tasks in discourse parsing, due to the lack of connective as strong linguistic cues. A principle bottleneck to further improvement is the shortage of training data (ca.~16k instances in the PDTB). Shi et al. (2017) proposed to acquire additional data by exploiting connectives in translation: human translators mark discourse relations which are implicit in the source language explicitly in the translation. Using back-translations of such explicitated connectives improves discourse relation parsing performance. This paper addresses the open question of whether the choice of the translation language matters, and whether multiple translations into different languages can be effectively used to improve the quality of the additional data.

연구 동기 및 목표

• 논리적 분석의 주요 장애물인 암묵적 논리관계 분류를 위한 애너테이션 훈련 데이터 부족 문제를 해결한다.
• 번역 언어의 선택이 확보된 훈련 데이터의 품질과 신뢰성에 영향을 미치는지 조사한다.
• 여러 번역 언어에서의 명시화를 융합함으로써 데이터 품질과 후속 분류 성능을 향상시킬 수 있는지 탐색한다.
• 문서 수준의 정렬이 이루어진 병렬 코퍼스에서의 역번역을 통해 암묵적 논리관계를 식별하고 레이블링하는 방법을 개발한다.
• 여러 번역 언어 간 다수결 투표를 통해 노이즈 또는 일관성 없는 명시화를 걸러내는 효과를 평가한다.

제안 방법

• 문서 수준 정렬이 이루어진 병렬 코퍼스(EuroParl)를 활용하여 원본 영어 문장이 암묵적이었음에도 불구하고 목표 언어에서 인간 번역가가 논리적 연결어를 삽입한 문장 쌍을 식별한다.
• 프랑스어, 독일어, 체코어에서 번역된 문장을 다시 영어로 역번역하여 명시적 논리적 마커를 복원한다.
• 복원된 역번역 텍스트에 논리관계 분석기(DRP)를 적용하여 논리관계를 식별하고 레이블링한다.
• 여러 번역 언어 간 다수결 투표를 통해 동일한 관계 유형에 대해 최소 두 번역이 일치하는 경우에만 해당 인스턴스를 선택한다.
• 언어 간 일관된 명시화가 이루어진 문장 쌍만 걸러내어 레이블 신뢰도를 향상시킨다.
• 최종적으로 확보된 고품질의 자동으로 레이블링된 암묵적 논리관계 인스턴스를 PDTB 벤치마크의 훈련 데이터에 통합한다.

실험 결과

연구 질문

• RQ1 번역 언어의 선택이 확보된 암묵적 논리관계 인스턴스의 품질과 분포에 영향을 미치는가?
• RQ2 여러 번역 언어에서의 명시화를 융합하면 단일 언어를 사용할 때보다 더 높은 품질의 훈련 데이터를 확보할 수 있는가?
• RQ3 여러 역번역 간 다수결 투표가 노이즈 또는 일관성 없는 레이블을 감소시키고 레이블의 신뢰도를 향상시키는가?
• RQ4 다국어 명시화의 사용이 암묵적 논리관계 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ5 동일한 논지 쌍 간에 다수의 논리관계가 동시에 존재하는 경우를 탐지할 수 있는가?

주요 결과

• 최소 두 역번역이 동일한 논리관계 유형에 대해 일치한 인스턴스는 추가 데이터 없이 또는 단일 언어에서 확보된 데이터를 사용한 기준 모델 대비 유의미하게 높은 분류 성능을 기록하였다.
• 이 방법은 PDTB 벤치마크에서 상당한 성능 향상을 달성하여 다국어 명시화가 데이터 확보에 효과적임을 입증하였다.
• 독일어 번역에서는 연결어의 명시화 빈도가 더 높았으며, 이는 언어 특유의 논리적 표시 경향을 반영한다.
• 이 방법은 동일한 논지 쌍 간에 다수의 동시 발생 논리관계를 성공적으로 탐지하여 복잡한 논리적 구조에 민감함을 입증하였다.
• 정성적 분석을 통해 언어 간 일관된 번역 행동이 방법의 신뢰할 수 있는 논리 신호 학습 능력과 다양한 어휘 표현을 포괄하는 능력을 강화함을 확인하였다.
• 다수결 투표의 사용은 노이즈 또는 일관성 없는 레이블을 크게 감소시켜 확보된 훈련 데이터의 신뢰도를 향상시켰다.