[논문 리뷰] UniMorph 2.0: Universal Morphology

Christo Kirov, Ryan Cotterell외 11명|arXiv (Cornell University)|2018. 10. 25.

Natural Language Processing Techniques참고 문헌 18인용 수 96

한 줄 요약

UniMorph 2.0은 보편 태그셋을 사용해 52개 언어에 걸친 고품질 형태소 데이터를 확장하고, Wiktionary 추출을 개선하며, Wiktionary가 아닌 소스들을 추가하고, 개방형 협업을 가능하게 한다.

ABSTRACT

The Universal Morphology UniMorph project is a collaborative effort to improve how NLP handles complex morphology across the world's languages. The project releases annotated morphological data using a universal tagset, the UniMorph schema. Each inflected form is associated with a lemma, which typically carries its underlying lexical meaning, and a bundle of morphological features from our schema. Additional supporting data and tools are also released on a per-language basis when available. UniMorph is based at the Center for Language and Speech Processing (CLSP) at Johns Hopkins University in Baltimore, Maryland and is sponsored by the DARPA LORELEI program. This paper details advances made to the collection, annotation, and dissemination of project resources since the initial UniMorph release described at LREC 2016. lexical resources} }

연구 동기 및 목표

• NLP 작업을 위한 다양한 언어의 복잡한 형태소를 보다 잘 다루도록 개선 동기를 부여한다.
• 보편 주석 스키마를 사용해 굴절 형태의 패러다임에 대한 데이터 품질과 범위를 향상시킨다.
• 추가 데이터 소스를 통해 Wiktionary를 넘어 언어 커버리지를 확장한다.
• 하류 NLP 연구를 지원하기 위해 커뮤니티 참여와 오픈 데이터/도구의 공개를 촉진한다.

제안 방법

• 테이블 레이아웃을 그룹화하고 전체 레이아웃 그룹의 표본 패러다임을 주석 처리하여 Wiktionary 데이터 추출을 개선한다.
• 어휘 형태에 어간(lemma)와 특징 묶음을 주석하기 위해 보편 UniMorph 스키마를 사용한다.
• Wiktionary가 아닌 데이터 소스를 포함하고 이를 UniMorph 스키마에 매핑한다.
• 사전에 존재하는 경우 파생 용어, 번역, 다단어 글로스를 데이터 보강으로 추가한다.
• 언어별 메타데이터와 이슈 추적을 포함한 커뮤니티 지향의 오픈 소스 릴리스 모델을 채택한다.

실험 결과

연구 질문

• RQ1 보편 형태소 스키마를 대규모 다국어 Wiktionary 데이터 추출에 고정밀도로 적용하려면 어떻게 해야 하는가?
• RQ2 언어학적 포괄성과 정확성을 극대화하면서 인간 작업을 최소화하는 주석 워크플로우는 무엇인가?
• RQ3 Wiktionary가 아닌 자원들을 UniMorph 2.0에 어떻게 통합하고 정규화할 수 있는가?
• RQ4 형태소 자원을 풍부하게 만들기 위해 어떤 보조 데이터(파생 용어, 번역, 글로스)를 생성할 수 있는가?
• RQ5 UniMorph 2.0은 유형학적으로 다양한 언어와 저자원 사례에 얼마나 잘 확장되는가?

주요 결과

• 다양한 어족에 걸쳐 명사, 동사, 형용사를 포괄하는 52개 언어로 자원을 확장했다.
• 레이아웃 그룹 기반 주석 접근 방식이 주석 작업을 줄이고 언어 전반에 걸친 신속한 데이터 생성이 가능하게 했다.
• 초기 주석자 검증과 최종 판단은 언어 간 언어학적 타당성을 보장한다(이전 연구에서 8개 언어 검증; 47개 Wiktionary 언어가 며칠 내에 주석).
• Khaling, Kurmanji, Sorani Kurdish, Haida, Basque 등의 Wiktionary가 아닌 데이터 소스를 스키마 정렬과 함께 포함한다.
• 다단어 형태에 대한 파생 용어, 번역, 영어 gloss(주석)를 포함한 보조 리소스를 도입하고 Table 1에 언어별 gloss 수의 대규모 표를 제시한다.
• 관용 라이선스 하에 개방 릴리스와 커뮤니티 인프라(이슈 트래커, 메일링 리스트)를 제공해 지속적인 협업을 지원한다.
• UniMorph 데이터가 CoNLL 2017 Shared Task on Morphological Learning에 기여했다.