[논문 리뷰] Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages

Xiang Yu, Ngoc Thang Vu|arXiv (Cornell University)|2017. 05. 30.

Natural Language Processing Techniques참고 문헌 14인용 수 14

한 줄 요약

이 논문은 형태소가 풍부하고 복합어가 많은 언어에서 의존 구문 분석을 위해 전통적인 단어 검색 임베딩을 대체하는 컨볼루션 신경망(CNN) 기반의 문자 조합 모델을 제안한다. 이는 희귀하거나 미리 보지 못한 단어 형태에 더 잘 대응하기 위해 OOV(Out-of-Vocabulary) 단어를 처리하는 데에 유리하다. 이 모델은 SPMRL 벤치마크에서 최신 기준 성능을 달성하여 단어 검색 모델과 LSTM 기반 모델을 모두 능가하며, 특히 바스크어, 헝가리어, 한국어와 같은 고 OOV 비율을 가진 언어에서 라벨 부착 점수(LAS) 평균 3% 향상으로 앞서나간다.

ABSTRACT

We present a transition-based dependency parser that uses a convolutional neural network to compose word representations from characters. The character composition model shows great improvement over the word-lookup model, especially for parsing agglutinative languages. These improvements are even better than using pre-trained word embeddings from extra data. On the SPMRL data sets, our system outperforms the previous best greedy parser (Ballesteros et al., 2015) by a margin of 3% on average.

연구 동기 및 목표

• 형태소가 풍부하고 복합어가 많은 언어에서 의존 구문 분석을 수행할 때, 희귀하거나 미리 보지 못한 단어 형태로 인해 전통적인 단어 검색 임베딩이 실패하는 OOV 문제를 해결하기 위함.
• 재귀 모델인 LSTMs와 비교해 컨볼루션 신경망(CNNs)을 사용한 문자 수준의 조합이 형태소적 구조를 더 잘 모델링할 수 있는지 조사하기 위함.
• 외부의 비라벨 데이터가 필요 없이도 사전 학습된 단어 임베딩과 단어 검색 모델을 능가하는 CNN 기반의 문자 조합 모델이 성능을 뛰어넘을 수 있는지 평가하기 위함.
• 다양한 형태소 세그먼트(접두사, 어간, 접미사)가 구문 분석 정확도에 기여하는 정도를 분석하기 위해 추론 실험을 수행하기 위함.

제안 방법

• 모델은 단어 검색 임베딩을 대체하기 위해 문자 수준의 표현을 처리하는 CNN을 도입하며, 다양한 길이의 n-gram을 캐치하기 위해 다수의 필터 크기를 사용한다.
• 문자 임베딩은 필터 크기 3에서 9까지의 컨볼루션을 거친 후, 최대 풀링을 통해 고정 길이의 벡터 표현을 생성한다.
• 최종 단어 표현은 모든 필터 크기에서의 풀링된 특징을 연결하여 형성되며, 이는 피드포워드 신경망에 입력되어 전이 점수를 계산하는 데 사용된다.
• 구문 분석 시스템은 비프로젝티브 의존 구조를 다룰 수 있도록 Left-2 및 Right-2 전이를 포함한 확장된 Arc-Standard 전이 시스템을 사용하는 그레디 전이 기반 접근법을 채택한다.
• 특징 템플릿은 스택과 버퍼에서 온 토큰을 포함하며, 각 토큰에 대해 단어, 품사 태그, 레이블 임베딩을 먼저 조합한 후 밀도 있는 ReLU 레이어를 적용한다.
• 모델는 종속 구문 분석 전이에 대해 교차 엔트로피 손실을 사용하는 평균화된 확률적 경사 하강법을 통해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 CNN 기반의 문자 조합 모델이 단어 검색 모델과 LSTM 기반 모델에 비해 형태소가 풍부하고 복합어가 많은 언어에서 의존 구문 분석 성능을 유의미하게 향상시키는가?
• RQ2 문자 조합 모델이 의존 구문 분석에서 OOV 문제를 어느 정도 완화하는가?
• RQ3 어느 형태소 세그먼트(접두사, 어간, 접미사)가 다양한 언어에서 구문 분석 정확도에 가장 기여하는가?
• RQ4 자료가 부족한 조건에서 CNN 모델이 LSTM 모델보다 문자 수준의 조합에 더 효과적인가?

주요 결과

• CNN 기반의 문자 조합 모델은 SPMRL 벤치마크에서 이전 최고 성능을 기록한 그레디 파서보다 라벨 부착 점수(LAS) 평균 3% 향상되었다.
• 바스크어, 헝가리어, 한국어와 같은 복합어가 많은 언어에서는 특히 큰 성과를 보였으며, 일부 경우에서 5% 이상의 향상이 있었고, 이는 높은 OOV 비율 때문이었다.
• CNN 모델은 Ballesteros 등(2015)이 제시한 원본 및 재현된 양방향 LSTM 모델을 항상 능가했으며, 이는 CNN이 파싱에서 문자 수준의 조합에 더 적합하다는 경험적 증거를 제공한다.
• 모델는 OOV 단어의 영향을 줄였다: LAS 향상 폭이 OOV 케이스에서 IV(내부어) 케이스보다 유의미하게 더 크며, 이는 드문 또는 미리 보지 못한 단어를 처리하는 데 효과적임을 확인한다.
• 추론 실험 결과, 복합어가 많은 언어에서는 접미사가 가장 정보가 많은 형태소 세그먼트로 밝혀졌으며, 접미사를 마스킹했을 경우 성능 저하가 가장 컸다. 반면 융합어 언어에서는 그 기여도가 다소 낮았다.
• 비복합어 형태소가 풍부한 언어에서는 단어 검색 모델과 비슷한 성능을 보였고, 복합어가 많은 언어에서는 이를 뛰어넘는 성능을 보여, 광범위한 적용 가능성을 입증했다.