[論文レビュー] What to do about non-standard (or non-canonical) language in NLP

Barbara Plank|arXiv (Cornell University)|Aug 28, 2016

Natural Language Processing Techniques参考文献 26被引用数 18

ひとこと要約

この論文は、NLP モデルが、ニューズワイヤのような偏った均質なデータに訓練されているために、非標準的言語に対して性能低下を示すと主張している。本稿では、『偶然のデータ』——未利用の多様なリアルワールドテキスト——を活用し、強力なアルゴリズムと組み合わせることで、言語的多様性に適応し、多様性に配慮したモデルを構築する手法を提案している。

ABSTRACT

Real world data differs radically from the benchmark corpora we use in natural language processing (NLP). As soon as we apply our technologies to the real world, performance drops. The reason for this problem is obvious: NLP models are trained on samples from a limited set of canonical varieties that are considered standard, most prominently English newswire. However, there are many dimensions, e.g., socio-demographics, language, genre, sentence type, etc. on which texts can differ from the standard. The solution is not obvious: we cannot control for all factors, and it is not clear how to best go beyond the current practice of training on homogeneous data from a single domain and language. In this paper, I review the notion of canonicity, and how it shapes our community's approach to language. I argue for leveraging what I call fortuitous data, i.e., non-obvious data that is hitherto neglected, hidden in plain sight, or raw data that needs to be refined. If we embrace the variety of this heterogeneous data by combining it with proper algorithms, we will not only produce more robust models, but will also enable adaptive language technology capable of addressing natural language variation.

研究の動機と目的

• 非標準的言語のバリエーションに適用された際の NLP モデルの継続的な性能低下を解消すること。
• 歴史的・可用性バイアスのため、ニューズワイヤが事実上標準の訓練データとなっている分野の依存を疑問視すること。
• データアノテーションのスケーリングやドメイン適応といった現在のアプローチの限界——言語的多様性への対処の難しさ——を特定すること。
• より堅牢で適応性のある NLP システムの基盤として、多様でリアルワールドのデータ（偶然のデータ）を採用する方向転換を提言すること。
• ドメインの概念を、言語、ジャンル、年齢、社会的要因といった多様性をよりよく捉えるために、多次元的な「バリエーション空間」として再定義すること。

提案手法

• 非自明で未利用または生のデータとして無視されているが、言語的多様性のモデリングに価値を持つ『偶然のデータ』という概念を導入する。
• 偶然のデータと高度なアルゴリズムを組み合わせることで、多様な言語バリエーションにわたるモデルの堅牢性と適応性を向上させる。
• 安定的かつ代表的な評価を確保するため、ブートストラップサンプリング（k=150文）を用いて多様なテストセットでのモデル性能を評価する。
• POSタギングの正確性を指標として用い、OOV率やタグビグラム分布のKLダイバージェンスといった言語的特徴と相関を測定する。
• Twitterデータのサブサンプルにおける変動を分析し、単一のメディア内でも複数の言語的バリエーションが存在することを示す。
• ピアソンの ρ を用いた相関分析により、性能低下とOOV率や分布的乖離といった言語的共変量との関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 NLP モデルが非標準的言語で性能を発揮できない理由は何か？ そして、訓練データのバイアスとどのように関係しているか？
• RQ2 年齢、ジャンル、言語といった側面における言語的多様性が、POSタギングなどのタスクにおけるモデル性能にどの程度影響を与えるか？
• RQ3 偶然のデータを効果的に活用することで、多様な言語バリエーションにわたるモデルの堅牢性を向上させられるか？
• RQ4 OOV率やタグ分布の乖離といった言語的共変量と性能低下の間には、どの程度の相関があるか？
• RQ5 NLPにおける『ドメイン』の概念はあまりに狭く、もしそうなら、『バリエーション空間』フレームワークを用いて言語的多様性をより効果的にモデル化できるか？

主な発見

• 非標準的データでは性能低下が顕著に現れ、同じメディアであっても、Twitterの異なるサンプル間でPOSタギングの正確性に大きなばらつきが見られた。
• OOV率とモデル正確性の間に強い負の相関（ρ = -0.70, p = 0.02274）が確認されたが、oct27 Twitter サンプルのような外れ値を除くと、この相関は弱まる傾向にあった。
• 正解タグビグラム分布と予測分布とのKLダイバージェンスが性能に強く相関しており、POSシーケンスの分布的シフトが誤りの主な原因であることが示唆された。
• 同じメディア（Twitter）であるにもかかわらず、OOV率（28 vs. 52）と分布的乖離に顕著な差が見られた2つのTwitterサンプルがあり、Twitterが複数の言語的サブスペースを含むことが明らかになった。
• WSJで訓練されたモデルは、若年層や非英語圏言語では性能が劣っており、モデルの一般化における既知のバイアスが裏付けられた。
• 性能のばらつきと言語的共変量（例：OOV、分布的シフト）との相関は強く（全体のばらつきについて ρ = 0.95）、これらの要因をモデル化することが堅牢性の鍵であることが示された。