[논문 리뷰] Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks

Gor Arakelyan, Karen Hambardzumyan외 1명|arXiv (Cornell University)|2018. 09. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 유니버설 디펜던시(UD) 트리뱅크의 단어들에 대해 어간, 품사 태그, 21개의 형태소적 특징을 동시에 예측할 수 있도록 LSTM을 사용한 통합 신경망 아키텍처를 제안한다. 모델는 문자 수준 디코더와 위치 정보를 통합한 시퀀스 태깅 프레임워크를 확장하여 최적화되지 않은 상태에서도 9개의 언어에서 경쟁 가능한 성능을 달성하며, 종단 간 통합 의존 구문 분석 및 어간 추론을 향한 기초 단계를 마련한다.

ABSTRACT

This paper describes our submission to CoNLL 2018 UD Shared Task. We have extended an LSTM-based neural network designed for sequence tagging to additionally generate character-level sequences. The network was jointly trained to produce lemmas, part-of-speech tags and morphological features. Sentence segmentation, tokenization and dependency parsing were handled by UDPipe 1.2 baseline. The results demonstrate the viability of the proposed multitask architecture, although its performance still remains far from state-of-the-art.

연구 동기 및 목표

• UD 트리뱅크의 단어들에 대해 어간, 품사 태그, 형태소적 특징을 동시에 예측할 수 있는 통합 신경망 아키텍처를 개발하는 것.
• 기존의 시퀀스 태깅 LSTM 모델을 확장하여 어간 예측을 위한 문자 수준 시퀀스 생성을 지원하는 것.
• 공유 인코더 표현을 활용한 형태소 및 어휘 표현 학습에서의 다중 작업 학습의 가능성을 탐색하는 것.
• CoNLL 2018 UD 공동 과제에서 여러 언어에 대해 모델의 성능을 평가하고, 파싱 및 토크나이제이션을 위한 UDPipe 1.2을 기준으로 삼는 것.
• 어간 생성 향상을 위한 아키텍처 개선 사항—예: 입력 주입 및 위치 인코딩—을 식별하는 것.

제안 방법

• 모델는 양방향 LSTM 인코더를 사용하여 단어 시퀀스를 처리하며, FastText에서 제공하는 단어 임베딩과 서브워드 모델링을 위한 문자 수준 임베딩을 사용한다.
• 어간 생성을 위해 별도의 순차적 생성 디코더를 도입하였으며, 이는 인코더의 최종 은닉 상태와 단어 내 위치에 조건을 받는다.
• 위치 인코딩은 각 디코딩 단계에서 남은 문자 수를 주입하여 구현되었으며, 이는 맥락 인식 능력을 향상시킨다.
• POS 태깅, 형태소적 특징, 어간 예측에 대한 세 가지 손실 함수를 가중치 합 손실을 통해 동시에 최적화하며, 과제 난이도를 고려해 λp=0.2를 POS 태깅에 적용한다.
• 과적합을 방지하기 위해 특징 추출 LSTM 이전에 드롭아웃을 적용하였지만, 순환 드롭아웃 및 노이즈 주입은 사용하지 않았다.
• 모델는 9개의 UD v2.2 트리뱅크에서 평가되었으며, 어간, POS, 특징 예측 결과가 UDPipe 1.2의 출력을 대체한다.

실험 결과

연구 질문

• RQ1 단일 신경망이 어간, 품사 태그, 형태소적 특징을 경쟁 가능한 성능으로 동시에 예측할 수 있는가?
• RQ2 인코더 은닉 상태와 위치 인식 정보를 주입했을 때 어간 생성 품질에 어떤 영향을 미치는가?
• RQ3 손실 가중치 계수는 다중 작업 학습에서 여러 과제의 성능 균형을 어떻게 영향을 미치는가?
• RQ4 영어 및 유럽 언어에서는 성공했지만 아랍어 및 한국어와 같은 복합어 언어에 대해서는 일반화 성능이 떨어지는 이유는 무엇인가?
• RQ5 디코더 입력 설계 및 어텐션 메커니즘과 같은 아키텍처 설계 요소가 형태소 패턴 학습 능력에 얼마나 영향을 미치는가?

주요 결과

• 영어, 프랑스어, 스웨덴어 트리뱅크에서 경쟁적인 성과를 기록하였으며, 각각 EWT(95.84), Spoken(95.84), Talbanken(95.30)에서 어간 F1 점수를 기록하여 일부 경우에서 UDPipe 1.2 기준보다 뛰어난 성능을 보였다.
• 인코더 은닉 상태와 위치 인식 인코딩의 추가로 어간 생성 품질이 크게 향상되었으며, 특히 영어에서 잘못된 접미사 제거 등의 단순 실수를 줄이는 데 기여했다.
• 아랍어와 한국어에 대한 성능은 뚜렷이 열악했으며, 어간 F1 점수는 각각 87.41과 87.03이었으며, 이는 복합어 언어로의 일반화 능력이 제한됨을 시사한다.
• POS 태깅 손실에 대해 λp=0.2를 설정함으로써 어간 생성 성능 향상이 이루어졌으며, 이는 다중 작업 학습에서 과제 손실 균형 조절의 중요성을 시사한다.
• 초기 초모수 조정이 제한적이었음에도 불구하고, 공유 인코더를 활용한 통합 어간 추론 및 품사 태깅의 가능성은 입증되었으며, 향후 JointUD 시스템의 기초를 마련했다.