[論文レビュー] MediaWiki Grammar Recovery

Vadim Zaytsev|arXiv (Cornell University)|Jul 23, 2011

Natural Language Processing Techniques参考文献 44被引用数 7

ひとこと要約

本論文は、MediaWikiのPHPベースのパーサーから、断片的で一貫性のない、誤りだらけの文法断片群を復元・逆引きし、BNF形式の明確で動作可能なレベル2文法に変換する包括的な手法を提示している。この結果、異なるプラットフォーム間でのMediaWikiコンテンツの信頼性の高い解析、検証、移行、テストが可能となり、今後の拡張として表記規格化、曖昧性の解消、およびレキシカルな洗練が計画されている。

ABSTRACT

The paper describes in detail the recovery effort of one of the official MediaWiki grammars. Over two hundred grammar transformation steps are reported and annotated, leading to delivery of a level 2 grammar, semi-automatically extracted from a community created semi-formal text using at least five different syntactic notations, several non-enforced naming conventions, multiple misspellings, obsolete parsing technology idiosyncrasies and other problems commonly encountered in grammars that were not engineered properly. Having a quality grammar will allow to test and validate it further, without alienating the community with a separately developed grammar.

研究の動機と目的

• 生産用パーサーから由来する断片的で一貫性のない文法を、逆引きして再構築すること。
• 解析、分析、MediaWikiコンテンツの変換に使用可能な、明確で動作可能なBNF形式の文法を生成すること。
• 信頼性のある文法基盤を提供することで、自動ウィキ移行、静的検証、パーサー適合性テストを支援すること。
• 将来の文法の適合、表記規格化、およびRascal や ANTLR などの外部ツールとの統合を可能にすること。
• 特にMediaWiki向けに、アクセス可能で正確で保守可能なウィキマークアップ言語の文法が不足している問題を解決すること。

提案手法

• 複数の表記法を用いた、未接続の断片的な文法を含むMediaWikiパーサーの元のPHPソースコードから文法を回復すること。
• スペルミス、欠落したメタ記号、一貫性のない表記法などの文法的・意味的誤りを特定・是正すること。
• 回復した文法を、構造的整合性と動作正しさを保証するレベル2 BNF文法に変換すること。
• 元のソースおよびHTML DTDから得たレキシカル定義とエンティティ参照を保持し、部分的に再統合すること。
• 文法工学技術（文法適合、変換、検証）を適用し、堅牢性と再利用可能性を確保すること。
• 形式的文法解析を用いて曖昧性や構造的問題を特定し、今後の作業で解消する計画であること。

実験結果

リサーチクエスチョン

• RQ1 生産用パーサーから由来する大規模で断片的で一貫性のない文法を、整合的で動作可能な形式的文法に逆引きするにはどうすればよいか？
• RQ2 ソースドキュメンテーションが不完全または誤りである場合に、効果的な文法の回復と検証に適した手法は何か？
• RQ3 回復した文法をどのように構造化すれば、異なるウィキプラットフォーム間での解析、移行、検証、テストを支援できるか？
• RQ4 手続き的パーサー実装を、形式的で機械処理可能な文法に変換する際の主な課題は何か？
• RQ5 文法回復を、レキシカル解析、エンティティ処理、およびEBNF や ANTLR などの外部形式的記法との統合を含むようにどのように拡張できるか？

主な発見

• 回復された文法は、明確で一貫性があり、動作可能なレベル2 BNF文法であり、外部ツールとの統合やさらなる変換に適している。
• 元の文法断片群は表記法に一貫性がなく、誤りだらけで、回復なしではほとんど使用不可能であることが判明した。
• 回復プロセスにより、分散していた文法断片が統合され、文法的・意味的な不整合が是正された。
• レキシカル定義とHTMLエンティティ参照が保持され、部分的に再構造化され、レベル3文法の基盤が形成された。
• 本プロジェクトは、生産用パーサーのコードから文法を回復することが可能であり、ウィキコンテンツ処理に使用可能な、利用可能で保守可能な文法が得られることを示している。
• 回復された文法により、静的解析、パーサーのテスト、クロスプラットフォームでのウィキ移行といった将来の応用が可能になった。