[논문 리뷰] A Morphological Analyzer for Japanese Nouns, Verbs and Adjectives

Yanchuan Sim|arXiv (Cornell University)|2014. 10. 01.

Natural Language Processing Techniques참고 문헌 4인용 수 3

한 줄 요약

이 논문은 FOMA 툴킷을 사용하여 유한 상태 변환기(FST)를 활용해 MeCab에 비해 세분화된 형태소 특징(예: 예의, 시제, 어순, 어미)을 확장한 일본어 명사, 동사, 형용사용 오픈소스 형태소 분석기를 제시한다. 형용사에 대해 89.2%의 재현율과 89.2%의 정밀도를 기록하였으며, 동사에 대해서는 89.2%의 재현율과 77.6%의 정밀도를 기록하여 MeCab의 거친 분석 방식을 크게 향상시켰다. 이는 예의 표현, 복수형 어미, 복잡한 동사 어형 변화를 포괄함으로써 가능했다.

ABSTRACT

We present an open source morphological analyzer for Japanese nouns, verbs and adjectives. The system builds upon the morphological analyzing capabilities of MeCab to incorporate finer details of classification such as politeness, tense, mood and voice attributes. We implemented our analyzer in the form of a finite state transducer using the open source finite state compiler FOMA toolkit. The source code and tool is available at https://bitbucket.org/skylander/yc-nlplab/.

연구 동기 및 목표

• MeCab의 표준 69개 품사 태그를 초월해 세분화된 문법적 특징(예: 예의, 시제, 어순, 어미)을 포착하는 형태소 분석기를 개발하는 것.
• 특히 예의 표현, 복수형 어미, 일본어의 동사 어형 변화에 대해 세부적인 형태소 분석이 부족한 기존 도구의 한계를 해결하는 것.
• 유한 상태 변환기(FST) 프레임워크를 활용해 MeCab의 출력을 확장함으로써 동사와 형용사의 형태소 분석 정밀도와 재현율을 향상시키는 것.
• 실제 코퍼스(Tanaka 및 일본어-다국어 사전)를 대상으로 시스템을 평가하고 주요 실패 유형 및 커버리지 갭을 규명하는 것.
• 과다 생성을 줄이면서도 재현율을 유지하는 후처리 히우리스틱을 제안함으로써 실용적 유용성을 향상시키는 것.

제안 방법

• 분석기는 FOMA 유한 상태 컴파일러를 사용해 일본어 어형을 처리하고 다수의 형태소 분석을 생성하는 유한 상태 변환기(FST)를 구현한다.
• MeCab의 출력을 확장하여 예의(예: o-/go-), 어미(수동), 시제(완료), 어순(가능형, 부정형) 등의 세분화된 형태소 특징을 추가한다.
• 일본어-다국어 사전과 Tanaka 코퍼스를 활용해 동사와 형용사의 전체 어형 패턴을 포함한 어휘집을 구축한다.
• 불필요한 형태소 순서를 걸러내고 MeCab의 어원과 일치시키기 위해 후처리 인식기(Recognizer)를 적용함으로써 과다 생성을 감소시킨다.
• FST는 Tanaka 코퍼스에서 2,000개의 동사와 1,000개의 형용사 토큰을 대상으로 학습 및 평가되며, 정밀도와 재현율은 토큰 단위로 계산된다.
• i-형용사(-i로 끝남)와 na-형용사(-da가 필요함)를 모두 처리하며, 복합어형 분석의 일관성을 확보하기 위해 보조 동사로 간주하여 분석한다.

실험 결과

연구 질문

• RQ1 유한 상태 변환기(FST)는 MeCab의 표준 품사 태그를 초월해 일본어 동사와 형용사의 세분화된 형태소 특징(예: 예의, 시제, 어미)을 효과적으로 모델링할 수 있는가?
• RQ2 분석기는 명사 및 성명어 형식에서 예의 접두사(o-/go-)와 어미(-san, -kun, -sama 등)를 얼마나 잘 포착하는가?
• RQ3 어휘 커버리지와 코퍼스 유형이 정밀도와 재현율에 미치는 영향은 어떠한가? 특히 일본어의 복합어 특성과 높은 동사 어형 변화 생산성 고려 시.
• RQ4 후처리 히우리스틱은 재현율을 훼손하지 않으면서 과다 생성을 얼마나 줄일 수 있는가?
• RQ5 i-형용사와 na-형용사 간의 어형 복잡성과 성능 지표에서 분석 결과에 어떤 차이가 있는가?

주요 결과

• 형용사에 대해 89.2%의 재현율과 89.2%의 정밀도를 기록하여, 어형 변화가 적고 형태가 안정적인 클래스에서 뛰어난 성능을 보였다.
• 동사에 대해선 89.2%의 재현율을 기록했지만 정밀도는 77.6%에 그쳐, Tanaka 코퍼스 내에서 높은 형태소 생산성과 구어체 표현으로 인한 도전 과제를 반영했다.
• ‘信じられている’(had been believed)와 같은 복잡한 동사 어형도 FST 규칙을 통해 주요 분석과 덜 일반적인 분석을 모두 생성하여 성공적으로 포착했다.
• 후처리 단계는 잘못된 형태소 순서를 걸러내고 MeCab의 어원과 일치시킴으로써 과다 생성을 크게 감소시켰으며, 재현율에 영향을 주지 않고 정밀도를 향상시켰다.
• 커버리지 갭은 동사에서 가장 두드러졌는데, 이는 높은 생산성과 사전 커버리지의 한계, 특히 대화체 및 비공식어에서 두드러졌다.
• 평가 세트의 77.4%의 형용사가 기본형(사전형)이었으며, 이는 더 많은 어형 변화를 겪는 동사보다 정밀도가 높은 데 기여했다.