[논문 리뷰] Improved Transition-Based Parsing by Modeling Characters instead of Words with LSTMs

Miguel Ballesteros, Chris Dyer외 1명|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|2015. 08. 04.

Natural Language Processing Techniques참고 문헌 39인용 수 71

한 줄 요약

이 논문은 전이 기반 의존 관계 파싱을 위한 문자 수준의 LSTM 기반 단어 표현을 제안하며, 전통적인 단어 임베딩을 대체하여 형태학적으로 풍부한 언어에서 성능을 향상시킨다. 양방향 LSTM을 통해 단어를 문자의 시퀀스로 모델링함으로써 파서는 형태학적 규칙을 암묵적으로 포착하며, 명시적인 형태학적 특징이나 품사 태그 없이도 SPMRL 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

We present extensions to a continuous-state dependency parsing method that makes it applicable to morphologically rich languages. Starting with a high-performance transition-based parser that uses long short-term memory (LSTM) recurrent neural networks to learn representations of the parser state, we replace lookup-based word representations with representations constructed from the orthographic representations of the words, also using LSTMs. This allows statistical sharing across word forms that are similar on the surface. Experiments for morphologically rich languages show that the parsing model benefits from incorporating the character-based encodings of words.

연구 동기 및 목표

• 형태학적으로 풍부한 언어를 위한 전이 기반 의존 관계 파싱을 향상시키기 위해 단어 수준이 아닌 문자 수준에서 단어 형태를 모델링하는 것.
• 문자 수준의 표현을 통해 유사한 단어 형태 간의 통계적 공유를 가능하게 하여 데이터 희소성과 OOV 문제를 줄이는 것.
• 문자 수준의 표현이 명시적인 품사 태그나 형태학적 특징 없이도 형태학적 정보를 암묵적으로 포착할 수 있는지 조사하는 것.
• 스왑 연산을 사용하여 연속 상태 파싱 프레임워크를 비프로젝티브 의존 관계도 처리할 수 있도록 확장하는 것.
• 특히 축합적이고 사례가 풍부한 언어를 포함한 다양한 형태학적 유형에서 모델의 성능을 평가하는 것.

제안 방법

• 연속 상태 기반 전이 기반 파서에서 단어 수준의 임베딩을 양방향 LSTM으로 생성된 문자 수준의 표현으로 대체한다.
• 각 단어의 문자 시퀀스를 인코딩하기 위해 단일 LSTM을 사용하여 형태학적 패턴을 포착하는 조밀한 벡터 표현을 생성한다.
• 문자 기반 단어 표현을 파서의 상태 표현에 통합하며, 스택, 버퍼, 액션 임베딩을 학습된 변환을 통해 조합한다.
• 표준적인 시프트 및 리덕션 연산에 스왑 연산을 추가하여 비프로젝티브 의존 관계 구조를 처리할 수 있도록 한다.
• 골드 표준 액션 시퀀스의 가능도를 최대화하기 위해 지도 기반 역전파를 사용해 전체 모델을 엔드 투 엔드로 훈련한다.
• 단어 표현과 파서 상태 모델링에 동일한 RNN 아키텍처를 사용하여 문법적 및 형태학적 패턴을 공동으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 문자 수준의 표현은 단어 수준의 임베딩에 비해 형태학적으로 풍부한 언어에서 의존 관계 파싱 성능을 향상시킬 수 있는가?
• RQ2 명시적인 형태학적 주석 없이도 문자 수준의 LSTMs가 형태학적 정보를 어느 정도 암묵적으로 학습할 수 있는가?
• RQ3 문자 기반 접근 방식은 자원이 적거나 OOV가 많은 환경에서 의존 관계 파싱 오차율을 줄일 수 있는가?
• RQ4 특히 형태학적으로 복잡한 언어에서, 문자 기반 표현이 품사 태그의 필요성을 대체할 수 있는가?
• RQ5 제안된 모델은 축합적이고 변형이 풍부한 언어에서 흔한 비프로젝티브 의존 관계 구조를 얼마나 효과적으로 처리하는가?

주요 결과

• 문자 기반 모델은 형태학적으로 풍부한 언어를 위한 SPMRL 벤치마크 데이터셋에서 최고 성능을 기록하였으며, 바스크어, 헝가리어, 한국어, 터키어를 포함한다.
• 축합적이고 사례가 풍부한 언어에서 단어 수준의 베이스라인에 비해 유의미하게 뛰어난 성능을 보이며, 형태학적 규칙을 강력하게 포착함을 입증한다.
• 일부 언어에서는 명시적인 품사 태그를 사용한 모델와 비교해 성능이 유사하거나 뛰어나며, 이는 형태학적 정보가 암묵적으로 학습되었음을 시사한다.
• OOV 단어의 영향을 줄여 자원이 적은 환경에서의 강인성을 향상시킨다.
• 스왑 연산의 포함으로 비프로젝티브 의존 관계를 처리할 수 있게 되었으며, 이는 형태학적으로 풍부한 언어에서 흔한 현상이다.
• 예비 훈련 없이도 품사 태그 기능 없이 영어와 중국어에서도 경쟁적인 성능을 기록하여, 형태학적으로 복잡한 언어 외에도 광범위한 적용 가능성을 보여준다.