[論文レビュー] Subword-augmented Embedding for Cloze Reading Comprehension

Zhuosheng Zhang, Yafang Huang+1 more|arXiv (Cornell University)|Jun 24, 2018

Topic Modeling参考文献 40被引用数 22

ひとこと要約

本稿では、文字レベルの表現をサブワードレベルの表現に置き換えることで、まれな語および未知語（OOV）の取り扱いを改善するため、サブワード拡張単語埋め込み（SAW）を提案する。単純な演算によりサブワード表現と単語表現を統合することで、クローズ形式の読解理解の性能を向上させる。SAWリーダーは、単語表現とサブワード表現を効果的に統合し、効率性とカバレッジを確保する短リスト機構を用いることで、複数の中国語および英語のベンチマークで最先端の性能を達成する。

ABSTRACT

Representation learning is the foundation of machine reading comprehension. In state-of-the-art models, deep learning methods broadly use word and character level representations. However, character is not naturally the minimal linguistic unit. In addition, with a simple concatenation of character and word embedding, previous models actually give suboptimal solution. In this paper, we propose to use subword rather than character for word embedding enhancement. We also empirically explore different augmentation strategies on subword-augmented embedding to enhance the cloze-style reading comprehension model reader. In detail, we present a reader that uses subword-level representation to augment word embedding with a short list to handle rare words effectively. A thorough examination is conducted to evaluate the comprehensive performance and generalization ability of the proposed reader. Experimental results show that the proposed approach helps the reader significantly outperform the state-of-the-art baselines on various public datasets.

研究の動機と目的

• クローズ形式の読解理解におけるまれな語および未知語（OOV）語の表現に、文字レベルと単語レベルの埋め込みの限界を是正すること。
• 文字よりも意味的・構造的な意味を持つサブワード単位を、単語表現の強化に用いるより意味のある言語的単位として探求すること。
• 複雑なアーキテクチャや手動特徴量を用いずに、サブワードと単語の埋め込みを統合する、シンプルで効果的な手法を設計すること。
• まれな語のための短リスト機構を用いることで、モデルの汎化性能と効率性を向上させること。
• 中国語および英語のクローズデータセットを含む多言語ベンチマークで、アプローチの有効性を評価すること。

提案手法

• バイトペアエンコーディング（BPE）や類似手法を用いて得られるサブワード単位を、文字に代えて語の表現に用いることで、形態論的および意味的情報をより効果的に捉える。
• 単語レベルとサブワードレベルの埋め込みを、単純な連結または要素ごとの演算により統合し、共同表現学習を実現する。
• まれな語およびOOV語を処理するためのサブワード単位の短リストを導入し、モデルサイズの削減と学習速度の向上を図る。
• 標準的なアテンションベースのリーダー・モデル（例：GAリーダー）にSAW埋め込みを統合することで、回答予測の精度を向上させる。
• 標準的な最適化手法を用いて、サブワード表現が学習中に同時に学習されるように、エンドツーエンドでモデルを訓練する。
• BPEに基づくサブワード分割を用い、未知語を意味のあるサブユニットに動的に分解することで、動的かつ柔軟な未知語処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 サブワードレベルの表現は、クローズ形式の読解理解における単語埋め込みの強化において、文字レベルの表現を上回ることができるか？
• RQ2 中国語のような低リソースまたは形態素豊富な言語において、サブワード拡張埋め込みは、まれな語および未知語（OOV）語の処理において、性能をどのように向上させるか？
• RQ3 ニューラル読解理解モデルにおいて、単語レベルとサブワードレベルの表現を統合する最適な戦略は何か？
• RQ4 提案手法は、文字拡張ベースラインと比較して、モデル効率性（例：学習速度、モデルサイズ）を維持または向上させることができるか？
• RQ5 短リスト機構は、多言語環境下で、OOVトークンの数をどの程度削減し、汎化性能を向上させるか？

主な発見

• SAWリーダーは、OOV率の高い複数の公開中国語読解データセットにおいて、最先端のベースラインを顕著に上回る性能を示した。
• GAリーダーのベースラインと比較して、OOV関連の誤りを約1/5まで削減し、まれな語および固有名詞の回答の取り扱いが向上したことを実証した。
• サブワード拡張埋め込みは、中国語および英語の両方のベンチマークで一貫した性能向上をもたらし、多言語的有効性を確認した。
• 短リスト機構は、モデルサイズを削減し、学習を高速化しながらも、特にまれな語の処理において高い性能を維持した。
• ゲーティング機構よりも単純な連結または要素ごとの演算により、より良い結果が得られ、計算コストも低減した。
• アブレーションスタディの結果、サブワードレベルの表現は、文字レベルの表現よりも、意味的・形態論的パターンをより効果的に捉えられることを確認した。