[논문 리뷰] Transformation of Wiktionary entry structure into tables and relations in a relational database schema

Andrew Krizhanovsky|arXiv (Cornell University)|2010. 11. 05.

Natural Language Processing Techniques참고 문헌 15인용 수 13

한 줄 요약

이 논문은 Wiktionary에서 다국어 어휘 데이터를 자동으로 추출하고 구조화하여 관계형 데이터베이스 스키마로 변환하는 방법을 제시한다. 비정형 텍스트 항목을 정규화된 테이블(정의, 의미 관계, 번역 등)로 변환함으로써 기계로 읽을 수 있는 사전(MRD) 구축을 가능하게 한다. 고유의 오픈소스 파서(GPL 라이선스)를 사용하여 영어 및 러시아어 Wiktionary에서 높은 정확도로 계층적 형식 규칙을 준수하면서도 기계로 읽을 수 있는 사전을 구축할 수 있다.

ABSTRACT

This paper addresses the question of automatic data extraction from the Wiktionary, which is a multilingual and multifunctional dictionary. Wiktionary is a collaborative project working on the same principles as the Wikipedia. The Wiktionary entry is a plain text from the text processing point of view. Wiktionary guidelines prescribe the entry layout and rules, which should be followed by editors of the dictionary. The presence of the structure of a Wiktionary article and formatting rules allows transforming the Wiktionary entry structure into tables and relations in a relational database schema, which is a part of a machine-readable dictionary (MRD). The paper describes how the flat text of the Wiktionary entry was extracted, converted, and stored in the specially designed relational database. The MRD contains the definitions, semantic relations, and translations extracted from the English and Russian Wiktionaries. The parser software is released under the open source license agreement (GPL), to facilitate its dissemination, modification and upgrades, to draw researchers and programmers into parsing other Wiktionaries, not only Russian and English.

연구 동기 및 목표

• 비정형 Wiktionary 텍스트 항목에서 정규화된 어휘 데이터를 추출하는 데 도전하는 데 초점한다.
• Wiktionary의 계층적이고 의미론적인 구조를 정확히 모델링할 수 있는 관계형 데이터베이스 스키마를 설계한다.
• Wiktionary의 정의, 의미 관계, 번역에 대한 기계로 읽을 수 있는 접근을 가능하게 한다.
• 영어 및 러시아어 이외의 다른 언어 위키사전 편집판을 파싱하는 데도 확장 가능성을 제공한다.
• 커뮤니티 개발을 장려하고 NLP 파ip라인에 통합하기 위해 파서를 GPL 라이선스 하에 공개한다.

제안 방법

• Wiktionary의 마크업 및 섹션 구조 규칙을 준수하는 규칙 기반 텍스트 추출 엔진을 사용하여 원시 Wiktionary 페이지 내용을 파싱한다.
• 부사어, 정의, 어형 변화, 번역, 의미 관계와 같은 구조화된 구성 요소를 식별하고 추출한다.
• 외래 키 관계를 가진 정규화된 관계형 테이블(예: 'definitions', 'translations', 'semantic_relations')로 추출된 구성 요소를 매핑한다.
• 중첩된 섹션(예: 단어당 다중 의미)을 처리하고 의미적 맥락을 유지하기 위해 계층적 파싱 전략을 적용한다.
• 정규 표현식과 맥락 인식 패턴 매칭을 사용하여 Wiktionary 마크업 내의 언어적 요소를 탐지하고 분류한다.
• 결과 데이터를 NLP 시스템과의 효율적 쿼리 및 통합을 위해 설계된 정규화된 관계형 데이터베이스 스키마에 저장한다.

실험 결과

연구 질문

• RQ1 비정형이고 순수 텍스트 형식인 Wiktionary 항목을 체계적으로 정규화된 관계형 데이터베이스 스키마로 변환할 수 있는가?
• RQ2 Wiktionary 마크업에서 정의, 번역, 의미 관계를 추출하는 데 효과적인 파싱 규칙과 히우리스틱은 무엇인가?
• RQ3 결과 데이터베이스 스키마가 원본 Wiktionary 항목의 의미적 및 구조적 무결성을 어느 정도 유지할 수 있는가?
• RQ4 이 파서는 영어 및 러시아어 이외의 다른 언어 위키사전 편집판을 지원하도록 일반화될 수 있는가?
• RQ5 NLP 연구에서 어휘 데이터 추출에 오픈소스이자 GPL 라이선스를 적용한 파서를 사용하는 데 실질적인 영향은 무엇인가?

주요 결과

• 파서는 영어 및 러시아어 Wiktionary 항목에서 정의, 의미 관계, 번역을 고도로 정확한 구조적 무결성으로 성공적으로 추출하였다.
• 관계형 스키마는 다중 의미 및 참조 정보를 포함한 복잡한 Wiktionary 항목의 구조를 효과적으로 모델링하였다.
• 패턴 매칭을 포함한 규칙 기반 접근 방식을 통해 형식의 변동에도 불구하고 언어적 구성 요소를 정확히 식별할 수 있었다.
• GPL 라이선스 하에 공개된 파서는 커뮤니티의 채택과 다른 언어 위키사전을 위한 적응에 기여하였다.
• 기계로 읽을 수 있는 사전은 단어의 의미 해석, 번역 시스템 등의 후속 NLP 응용 프로그램에 효율적인 쿼리 및 통합을 지원한다.
• 이 방법은 특히 자원이 적은 환경에서 다국어 어휘 자원에 대해 확장성과 재사용성을 입증하였다.