[논문 리뷰] Exploiting Multi-typed Treebanks for Parsing with Deep Multi-task Learning

Jiang Guo, Wanxiang Che외 2명|arXiv (Cornell University)|2016. 06. 03.

Natural Language Processing Techniques참고 문헌 40인용 수 15

한 줄 요약

이 논문은 다국어 유니버설 의존성과 단일어 비균일 의존성 트리뱅크를 모두 활용하는 딥 다중작업 학습 프레임워크를 제안한다. 이는 다양한 트리뱅크 간의 문법 지식을 효과적으로 전이함으로써, 여러 언어 및 데이터셋에서 감독 기반 보조 모델보다 뚜렷한 성능 향상을 이룬다. 특히 CDT를 소스로 사용할 경우 CTB5에서 LAS 86.69%를 달성한다.

ABSTRACT

Various treebanks have been released for dependency parsing. Despite that treebanks may belong to different languages or have different annotation schemes, they contain syntactic knowledge that is potential to benefit each other. This paper presents an universal framework for exploiting these multi-typed treebanks to improve parsing with deep multi-task learning. We consider two kinds of treebanks as source: the multilingual universal treebanks and the monolingual heterogeneous treebanks. Multiple treebanks are trained jointly and interacted with multi-level parameter sharing. Experiments on several benchmark datasets in various languages demonstrate that our approach can make effective use of arbitrary source treebanks to improve target parsing models.

연구 동기 및 목표

• 다양하고 다형적인 트리뱅크(다국어 유니버설 및 단일어 비균일)를 효과적으로 활용하여 의존성 파싱을 향상시킬 수 있는 유니버설 프레임워크를 개발하는 것.
• 다른 어순서 및 언어를 가진 트리뱅크 간의 언어학적 일관성 문제를 다루면서도 공유되는 문법 지식을 유지하는 것.
• 트리뱅크 유형 간 일관성 및 일관성의 유형 차이를 고려한 적응형 파rameter 공유 전략을 설계하는 것.
• 표현 수준의 파rameter 공유가 딥 신경망에서의 다중트리뱅크 전이 학습에 어떻게 확장 가능하고 효과적인지 입증하는 것.
• 수작업 특징 추출이나 제한된 특징 수준의 공유에 의존하는 기존 방법보다 프레임워크가 더 뛰어난 성능을 보임을 보여주는 것.

제안 방법

• 각 트리뱅크를 개별 파싱 작업으로 간주하고, 신경망 아키텍처 전반에 걸쳐 다중 수준의 파rameter 공유를 통한 딥 다중작업 학습으로 통합한다.
• 정보 흐름을 제어하고 지식 전이를 가능하게 하기 위해 단어 임베딩, 히든 레이어, 출력 레이어 등 다양한 추상화 수준에서 파rameter 공유를 적용한다.
• 다국어 트리뱅크(예: Universal Dependencies)의 경우, 다국어 문법 유사성을 활용하여 자원이 적은 언어의 파싱 성능을 향상시킨다.
• 단일어 비균일 트리뱅크(예: UDT 대비 CoNLL-X)의 경우, 콘텐츠-헤드 대비 기능-헤드 의존성과 같은 구조적 차이를 고려해 공유 전략을 적응시킨다.
• 수작업 특징 설계를 피하기 위해 원시 트리뱅크 데이터에서 직접 공유 표현을 끌어내는 엔드 투 엔드 딥 러닝을 사용한다.
• 모델은 모든 소스 트리뱅크에서 동시에 훈련되며, 작업별 출력 레이어와 공유된 하위 레이어를 갖추어, 작업별 아키텍처 수정 없이도 전이 학습이 가능하다.

실험 결과

연구 질문

• RQ1 통합된 딥 다중작업 학습 프레임워크는 다국어 유니버설 트리뱅크와 단일어 비균일 트리뱅크를 효과적으로 활용하여 의존성 파싱을 향상시킬 수 있는가?
• RQ2 소스 트리뱅크가 언어, 어노테이션 체계 또는 문법적 구조에서 다를 경우, 다중 수준의 파rameter 공유가 파싱 성능 향상에 어떻게 기여하는가?
• RQ3 다국어 및 다어노테이션 지식 전이가 특히 자원이 적은 환경에서 파싱 정확도 향상에 얼마나 기여하는가?
• RQ4 규칙 기반 변환, 준동기어 그램마 특징, 또는 특징 수준의 파rameter 공유에 의존하는 기존 접근법과 비교해 본다면, 제안된 방법은 어떻게 다른가?
• RQ5 수작업 특징 설계나 고비용 전처리가 필요 없이도, 더 다양한 트리뱅크를 포함시키는 데에 이 프레임워크가 어떻게 확장 가능한가?

주요 결과

• 제안된 딥 다중작업 학습 프레임워크는 CDT를 소스로 사용할 경우 중국 펜 트리뱅크 5.1(CTB5)에서 LAS 86.69%를 달성하여 이전 연구보다 뚜렷한 성능 향상을 이룬다.
• 다국어 유니버설 트리뱅크에서, 모델은 여섯 개 언어에서 평균 UAS 1.79% 향상 및 LAS 2.01% 향상을 기록하며 강력한 감독 기반 보조 모델을 초월한다.
• 단일어 비균일 트리뱅크(UDT 대비 CoNLL-X)의 경우, CTB5에서 감독 기반 보조 모델 대비 LAS 1.44% 절대 향상되며, 서로 다른 어노테이션 체계 간 상호 이점이 입증된다.
• 모델은 언어 및 설정 전반에서 일관된 성능 향상을 보이며, 금속 POS 태그를 사용할 경우 CTB5에서 LAS 1.04% 향상되고, 자동 POS 태그를 사용할 경우 1.59% 향상된다.
• 소스 트리뱅크 간 높은 중복성이 있는 경우(예: UDT와 CoNLL-X의 SV)에도 불구하고, 소스 외 테스트 세트에서 성능 향상이 지속됨을 보여, 프레임워크의 강건성을 입증한다.
• 기존 방법이 규칙 기반 또는 특징 수준의 적응이 필요로 하는 것과 달리, 이 방법은 수작업 특징 설계 없이도 다양한 트리뱅크에 효과적으로 확장 가능하다.