[論文レビュー] Treebanking User-Generated Content: a UD Based Overview of Guidelines, Corpora and Unified Recommendations

Manuela Sanguinetti, Lauren C. Cassidy+8 more|arXiv (Cornell University)|Nov 3, 2020

Natural Language Processing Techniques被引用数 12

ひとこと要約

本稿は、ソーシャルメディアやウェブテキストなどのユーザー生成コンテンツ（UGC）を対象に、既存のツリークリップに見られる一貫性の欠如を是正する、ユニバーサルデパンドンス（UD）に基づく統合的アノテーションガイドラインを提案する。継続的な言語的現象としての綴り誤り、縮約形、コードスイッチィングを分析し、クロスリンガルな一貫性を高め、ノイズが多く非形式的なテキスト分野における句構造解析の精度を向上させる標準化された解決策を提示する。

ABSTRACT

This article presents a discussion on the main linguistic phenomena which cause difficulties in the analysis of user-generated texts found on the web and in social media, and proposes a set of annotation guidelines for their treatment within the Universal Dependencies (UD) framework of syntactic analysis. Given on the one hand the increasing number of treebanks featuring user-generated content, and its somewhat inconsistent treatment in these resources on the other, the aim of this article is twofold: (1) to provide a condensed, though comprehensive, overview of such treebanks -- based on available literature -- along with their main features and a comparative analysis of their annotation criteria, and (2) to propose a set of tentative UD-based annotation guidelines, to promote consistent treatment of the particular phenomena found in these types of texts. The overarching goal of this article is to provide a common framework for researchers interested in developing similar resources in UD, thus promoting cross-linguistic consistency, which is a principle that has always been central to the spirit of UD.

研究の動機と目的

• 既存のユニバーサルデパンドンス（UD）ツリークリップにおけるユーザー生成コンテンツ（UGC）のアノテーションの不整合を是正すること。
• 綴り誤り、縮約形、およびグラフィム的ストレッチングなどの、句構造解析を困難にするUGCにおける繰り返し現れる言語的現象を特定・体系化すること。
• UDスキーマ内でのUGCのアノテーションのための整合的かつクロスリンガルに一貫性のあるフレームワークを提示し、相互運用性と再利用可能性を確保すること。
• 明確で実行可能なアノテーションガイドラインを提供することで、高品質で標準化されたUGCツリークリップの開発を支援すること。
• UGC固有の現象を広範なUDエコシステムに統合し、非形式的テキスト処理のためのNLPツールの性能を向上させること。

提案手法

• 非標準的綴りや縮約形などの現象について、複数言語の既存UGCツリークリップを比較分析し、アノテーション実務の相違を特定する。
• ダイアクリティクス省略、音声化、綴り誤り、省略語、コードスイッチィングなどのカテゴリーにUGC現象を分類し、それぞれに特化したアノテーション戦略を提示する。
• 非標準的形態をエンコードするための新しいMISC特徴（例：NonCan=Typo, Abbr=Yes, CSType=INTRA）を導入した、標準化されたCoNLL-Uフォーマット拡張を提案する。
• ハッシュタグ、アットマーク、URL、絵文字などのトークンの句構造統合のタイプロジックを提示し、句構造的統合と並列的接続（paratactic attachment）を区別する。
• クルーリスやアグラティベ形式の非標準形態のための形態素的特徴の一貫した取り扱いを推奨し、UniMorphスタイルの分割を支援する。
• ディスcourse関係および並列関係（parataxis）関係を用いて、誤り訂正や一時停止のマーク、文境界をマークするフレームワークを提案し、句構造の整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 既存のUDツリークリップでは、ユーザー生成コンテンツにおける非標準的形態のアノテーションがどのように不整合になっているか？
• RQ2 標準的依存構造解析を困難にする、最も頻出で言語学的に有意義なUGC現象は何か？
• RQ3 UDフレームワーク内でのUGCのための統合的アノテーションスキームを設計し、クロスリンガルな一貫性を確保するにはどうすればよいか？
• RQ4 ハッシュタグ、URL、絵文字などの非標準トークンを依存木に最適に表現する方法は何か？
• RQ5 UGCにおける非標準語形の形態的および句構造的特徴を一貫して適用する最適な方法は何か？

主な発見

• 本稿では、綴り誤り、縮約形、グラフィム的ストレッチングを含む14の異なるUGC現象が、既存のUDツリークリップで一貫してアノテートされていないことが同定された。
• 非標準的形態をエンコードするための標準化されたCoNLL-Uフォーマット拡張が提案され、NonCan=Typo, Abbr=Yes, CSType=INTRA などの新しいMISC特徴が導入された。
• ハッシュタグやアットマークなどのスタンドアロントークンは、parataxis:hashtag などの並列関係を用いて表現するのが最適であり、句構造的に統合された形態は適切なPOSおよびDEPRELタグを備えた通常の語として扱うべきである。
• コードスイッチィングに対しては、文内（INTRA）と文間（INTER）のタイプを区別し、LangIDによる言語固有のタグ付けを推奨する。
• CorrectForm および FullForm などの特徴を通じて、形態的正規化を支援するガイドラインが提案され、UniMorphやその他のNLPツールとの一貫性のあるアライメントが可能になる。
• ディスコース関係および再訂正関係（reparandum）を用いたフレームワークにより、誤りや一時停止のマークを一貫して処理でき、ノイズの多いテキストにおける解析の頑健性が向上する。