[論文レビュー] Transfer Deep Learning for Low-Resource Chinese Word Segmentation with a Novel Neural Network

Jingjing Xu, Xu Sun|arXiv (Cornell University)|Feb 15, 2017

Natural Language Processing Techniques参考文献 26被引用数 3

ひとこと要約

本論文は、教師-生徒ニューラルネットワークを用いた転移学習フレームワークを提案し、低リソース中国語語彙分割の性能を向上させる。高リソースデータで事前学習した教師モデルの重みを用いて生徒モデルを初期化し、低リソースデータセットに適応させるために重み付きデータ類似度法を適用することで、PKUでは96.1%、CTBでは96.2%の最先端Fスコアを達成し、従来手法よりそれぞれ2.3%および1.5%のFスコア向上を達成した。

ABSTRACT

Recent studies have shown effectiveness in using neural networks for Chinese word segmentation. However, these models rely on large-scale data and are less effective for low-resource datasets because of insufficient training data. We propose a transfer learning method to improve low-resource word segmentation by leveraging high-resource corpora. First, we train a teacher model on high-resource corpora and then use the learned knowledge to initialize a student model. Second, a weighted data similarity method is proposed to train the student model on low-resource data. Experiment results show that our work significantly improves the performance on low-resource datasets: 2.3% and 1.5% F-score on PKU and CTB datasets. Furthermore, this paper achieves state-of-the-art results: 96.1%, and 96.2% F-score on PKU and CTB datasets.

研究の動機と目的

• 標本ラベル付き学習データが不足する低リソースデータセットにおける中国語語彙分割の性能劣化という課題に対処する。
• MSRなどの高リソースコーパスを活用し、PKUやCTBのような低リソースデータセットにおけるモデルの汎化性能を向上させる。
• 事前学習済み教師モデルから生徒モデルへの知識転送を可能にする転移学習フレームワークを構築し、ランダム初期化に依存するのを減らす。
• 教師モデル学習中に、高リソースと低リソースコーパス間の分布シフトを扱うために、重み付きデータ類似度法を導入する。
• シリアル学習に比べて学習時間を約5倍短縮するミニバッチ非同期並列（MAP）学習を用いて学習を高速化する。

提案手法

• MSRなどの高リソースコーパスを用いて、新規の統合的グローバル-ローカルニューラルネットワークアーキテクチャを用いて教師モデルを学習する。
• 教師モデルの学習済み重みを用いて生徒モデルを初期化することで、ランダム初期化よりも優れた初期化点を提供する。
• 適合度を評価するために、精度と再現率を用いて各高リソースサンプルと低リソースデータセット間の重み付きデータ類似度を計算する。
• 誤差率 $ e^t = 1 - \frac{2p^t r^t}{p^t + r^t} $ と更新率 $ a^t = \frac{1}{2} \log \frac{1 - e^t}{e^t} $ を用いて、各サンプルの学習率を誤差に応じて動的に更新する。
• ミニバッチ非同期並列（MAP）学習を適用し、シリアル学習に比べて学習時間をほぼ5倍短縮する。
• 特徴抽出を強化するため、双方向LSTMとゲート付き再帰ネットワークを統合したユニフィードグローバル-ローカルニューラルネットワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 高リソースコーパスからの転移学習が、低リソースデータセットにおける中国語語彙分割性能を顕著に向上させることができるか？
• RQ2 知識転送中に高リソースと低リソースコーパス間の分布シフトをどのように軽減できるか？
• RQ3 データ類似度に基づく適応的学習率スケジューリングが、低リソースデータにおけるモデル収束性と性能向上に寄与するか？
• RQ4 ミニバッチ非同期並列学習をニューラル語彙分割に効果的に適用でき、性能劣化を伴わずに学習を高速化できるか？
• RQ5 提案手法が、PKUやCTBのような低リソースベンチマークにおいて、既存の最先端モデルをどの程度上回るか？

主な発見

• 提案手法は、PKUデータセットで96.1%、CTBデータセットで96.2%の最先端Fスコアを達成し、従来のニューラルモデルを上回った。
• 低リソースデータセットにおいて、前回の最先端手法に比べてPKUで2.3ポイント、CTBで1.5ポイントのFスコア向上を達成した。
• MSRコーパスから知識を転送することで、PKUではFスコアが1.0ポイント、CTBでは0.5ポイント向上した。
• 重み付きデータ類似度法により分布シフトが効果的に軽減され、高リソースデータから低リソースデータへの知識転送が改善された。
• ミニバッチ非同期並列学習により、シリアル学習に比べて学習時間をほぼ5倍短縮したが、Fスコアは同一水準を維持した。
• ベースラインのBi-LSTMモデルに比べ、PKUでは誤差率が34.3%、CTBでは26.3%低下し、低リソースデータに対する強力な汎化性能を示した。