[논문 리뷰] MediaWiki Grammar Recovery

Vadim Zaytsev|arXiv (Cornell University)|2011. 07. 23.

Natural Language Processing Techniques참고 문헌 44인용 수 7

한 줄 요약

이 논문은 PHP 기반 파서에서 유래한 MediaWiki 문법을 종합적으로 복구하고 역설계하여, 산산이 찢어진, 일관성 없고 오류가 많은 문법 조각들을 일관되고 기능하는 BNF 형식의 Level 2 문법으로 전환한다. 이 결과로 다양한 플랫폼 간 MediaWiki 콘텐츠의 신뢰할 수 있는 파싱, 검증, 마이그레이션 및 테스트가 가능해지며, 향후 노테이션 표준화, 모호성 해결 및 어휘 정제를 위한 확장 계획이 수립되어 있다.

ABSTRACT

The paper describes in detail the recovery effort of one of the official MediaWiki grammars. Over two hundred grammar transformation steps are reported and annotated, leading to delivery of a level 2 grammar, semi-automatically extracted from a community created semi-formal text using at least five different syntactic notations, several non-enforced naming conventions, multiple misspellings, obsolete parsing technology idiosyncrasies and other problems commonly encountered in grammars that were not engineered properly. Having a quality grammar will allow to test and validate it further, without alienating the community with a separately developed grammar.

연구 동기 및 목표

• 기존에 산산이 찢어지고 일관성 없었던 MediaWiki 문법을 PHP 기반 파서에서 역설계하고 재구성하는 것.
• 파싱, 분석 및 MediaWiki 콘텐츠의 변환에 사용할 수 있는 깔끔하고 기능하는 BNF 형식의 문법을 생성하는 것.
• 신뢰할 수 있는 문법 기반을 제공함으로써 자동화된 위키 마이그레이션, 정적 검증 및 파서 호환성 테스트를 지원하는 것.
• 향후 문법 적응, 표준화 및 Rascal, ANTLR와 같은 외부 도구와의 통합을 가능하게 하는 것.
• 특히 MediaWiki를 포함한 위키 마크업 언어에 대해 접근 가능하고 정확하며 유지보수가 가능한 문법의 부족을 해결하는 것.

제안 방법

• 여러 가지 표기법을 사용한 여러 조각으로 나뉘어 있던 원본 MediaWiki 파서의 PHP 소스 코드에서 문법을 복구하는 것.
• 오타, 누락된 메타기호, 일관성 없는 표기법 등의 문법적 및 의미적 오류를 식별하고 수정하는 것.
• 복구된 문법을 구조적 일관성과 기능적 정확성을 보장하는 Level 2 BNF 문법으로 변환하는 것.
• 원본 소스 및 HTML DTD에서 유래한 어휘 정의와 엔티티 참조를 유지하고 부분적으로 재통합하는 것.
• 문법 공학 기법을 적용하여 문법 적응, 변환 및 검증을 수행함으로써 강건성과 재사용성을 확보하는 것.
• 형식적 문법 분석을 통해 모호성과 구조적 문제를 탐지하고, 향후 작업에서 해결할 계획을 수립하는 것.

실험 결과

연구 질문

• RQ1 생산용 파서에서 유래한 대규모이자 산산이 찢어지고 일관성 없는 문법을 어떻게 통합적이고 기능하는 형식 문법으로 역설계할 수 있는가?
• RQ2 소스 문서가 불완전하거나 잘못된 경우, 어떤 기법이 문법을 복구하고 검증하는 데 효과적인가?
• RQ3 복구된 문법을 어떻게 구성하면 다양한 위키 플랫폼 간 파싱, 마이그레이션, 검증 및 테스트를 지원할 수 있는가?
• RQ4 절차적 파서 구현을 형식적이고 기계로 처리 가능한 문법으로 전환할 때의 주요 과제는 무엇인가?
• RQ5 어떻게 하면 문법 복구 과정을 어휘 분석, 엔티티 처리 및 EBNF 또는 ANTLR와 같은 외부 형식론과의 통합까지 확장할 수 있는가?

주요 결과

• 복구된 문법은 외부 도구와의 통합 및 향후 변환에 적합한 깔끔하고 일관되며 기능하는 Level 2 BNF 문법이다.
• 원래의 문법 조각들은 표기법에서 일관성이 없었고, 오류로 가득 차 있었으며, 복구 없이선 거의 사용할 수 없었다.
• 복구 과정은 서로 다른 문법 조각들을 통합하고 문법적 및 의미적 일관성을 수정하는 데 성공했다.
• 어휘 정의와 HTML 엔티티 참조는 유지되었고 부분적으로 재구조화되어 Level 3 문법의 기반을 형성했다.
• 이 프로젝트는 생산용 파서 소스 코드에서 문법 복구가 가능하며, 위키 콘텐츠 처리에 사용 가능한 유지보수가 가능한 문법을 도출할 수 있음을 입증했다.
• 복구된 문법은 정적 분석, 파서 테스트 및 다중 플랫폼 위키 마이그레이션과 같은 향후 응용을 가능하게 한다.