[論文レビュー] Effective Subword Segmentation for Text Comprehension

Zhuosheng Zhang, Hai Zhao+5 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling参考文献 62被引用数 3

ひとこと要約

本稿では、教師なし分割を用いて意味的なサブワード単位を学習することで、語彙外語（OOV）語や希少語に対して特に顕著な性能向上を実現する統合的サブワード拡張埋め込みフレームワークを提案する。語とサブワード埋め込みを連結または積み上げることで統合し、単純な加算や文字レベルのベースラインを上回る性能を達成する。

ABSTRACT

Representation learning is the foundation of machine reading comprehension and inference. In state-of-the-art models, character-level representations have been broadly adopted to alleviate the problem of effectively representing rare or complex words. However, character itself is not a natural minimal linguistic unit for representation or word embedding composing due to ignoring the linguistic coherence of consecutive characters inside word. This paper presents a general subword-augmented embedding framework for learning and composing computationally-derived subword-level representations. We survey a series of unsupervised segmentation methods for subword acquisition and different subword-augmented strategies for text understanding, showing that subword-augmented embedding significantly improves our baselines in various types of text understanding tasks on both English and Chinese benchmarks.

研究の動機と目的

• 自然言語処理タスクにおける希少語や語彙外語（OOV）語の取り扱いに課題を抱える語レベルおよび文字レベル表現の限界を解消すること。
• 語と文字の間のより言語学的に整合的で情報量の多い代替表現としてのサブワード単位の可能性を検討すること。
• 事前に定義された言語学的知識やアノテート済みコーパスに依存しない、統合的かつ教師なしのサブワード分割フレームワークを構築すること。
• 英語および中国語を含む多様な自然言語処理タスク、特に機械的読解理解およびテキスト帰属関係推論において、サブワード拡張埋め込みの有効性を評価すること。
• 下流タスクの性能を向上させるために、サブワード埋め込みと語埋め込みの最適統合戦略を調査すること。

提案手法

• 本手法は、バイトペア符号化（BPE）や周頻度n-gram抽出（BPE-FRQ）などの教師なしサブワード分割技術を用い、生テキストからサブワード単位を生成する。
• サブワード表現は、分割済みサブワードにニューラルネットワークを適用して学習し、語埋め込みと連結、乗算、または加算によって統合する。
• フレームワークは汎用的かつタスクに依存しない設計であり、タスク固有または言語固有の変更なしに多様な自然言語処理タスクに適用可能である。
• アテンションメカニズムを用いて関連するサブワードおよび語特徴に注目し、可視化により入力内の回答関連の証拠に効果的に注目する能力が向上したことが示された。
• 形態素規則や外部言語資源に依存しないため、低リソース言語に対しても適している。
• 5つのベンチマーク（CMRC-2017およびSNLIを含む）で評価され、統合戦略およびn-gramウィンドウサイズに関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 語レベルまたは文字レベルのベースラインと比較して、サブワード拡張埋め込みが読解理解およびテキスト帰属関係推論タスクの性能を顕著に向上させることができるか？
• RQ2 連結、乗算、加算のうち、どのサブワード統合戦略が下流自然言語処理タスクの性能を最も高めるか？
• RQ3 サブワード分割におけるn-gramウィンドウサイズの選択がモデル性能に与える影響はいかほどか？
• RQ4 クローズ形式の読解理解タスクにおいて、サブワード表現が語彙外語（OOV）語の取り扱いをどの程度改善できるか？
• RQ5 言語学的リソースを一切用いずに教師なしでサブワード分割を実施しても、低リソース言語や語彙が複雑な言語においても意味的かつ効果的な表現を生成できるか？

主な発見

• BPE-FRQによるサブワード分割を用いたサブワード拡張埋め込みモデルは、CMRC-2017テストセットにおいてOOV質問正答率を、語＋文字ベースラインの2.54％から12.71％まで向上させた。
• 語埋め込みとサブワード埋め込みの連結および乗算統合が単純な加算を上回り、特に相互作用や分布の違いをモデル化する点で乗算が顕著な利点を示した。
• BPE-FRQにおける最適なn-gramウィンドウサイズは2または3であり、より長いウィンドウ（最大4）ではわずかな改善または改善なしにとどまった。
• 可視化により、サブワード拡張埋め込みを用いたモデルが、'playgrounds' のような語において 'play' や 'ground' といった回答関連サブワード単位により効果的に注目していることが示された。
• 英語および中国語の両方で、5つの多様なベンチマークにおいて一貫した性能向上を達成し、フレームワークの汎用性および多言語的有効性を裏付けた。
• 特に 'indispensability' や 'intercontinental exchange' のような希少語や語彙が複雑な語についても、意味的なサブワードに分解することで表現学習が著しく向上した。