[論文レビュー] Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching

Chen Qu, Feng Ji+6 more|arXiv (Cornell University)|Dec 30, 2018

Topic Modeling参考文献 42被引用数 5

ひとこと要約

本稿では、深層強化学習を用いて高品質なソースドメインデータを的確に転送する新たな手法である強化転移学習（RTL）を提案する。ポリシーネットワークによるソースインスタンスの選択とDNNベースの転移学習（TL）モデルの共同学習により、類似語同定および自然言語推論タスクにおける性能を向上させるとともに、報酬駆動によるデータ選択によって負の転移を低減する。

ABSTRACT

Deep text matching approaches have been widely studied for many applications including question answering and information retrieval systems. To deal with a domain that has insufficient labeled data, these approaches can be used in a Transfer Learning (TL) setting to leverage labeled data from a resource-rich source domain. To achieve better performance, source domain data selection is essential in this process to prevent the "negative transfer" problem. However, the emerging deep transfer models do not fit well with most existing data selection methods, because the data selection policy and the transfer learning model are not jointly trained, leading to sub-optimal training efficiency. In this paper, we propose a novel reinforced data selector to select high-quality source domain data to help the TL model. Specifically, the data selector "acts" on the source domain data to find a subset for optimization of the TL model, and the performance of the TL model can provide "rewards" in turn to update the selector. We build the reinforced data selector based on the actor-critic framework and integrate it to a DNN based transfer learning model, resulting in a Reinforced Transfer Learning (RTL) method. We perform a thorough experimental evaluation on two major tasks for text matching, namely, paraphrase identification and natural language inference. Experimental results show the proposed RTL can significantly improve the performance of the TL model. We further investigate different settings of states, rewards, and policy optimization methods to examine the robustness of our method. Last, we conduct a case study on the selected data and find our method is able to select source domain data whose Wasserstein distance is close to the target domain data. This is reasonable and intuitive as such source domain data can provide more transferability power to the model.

研究の動機と目的

• ターゲットドメインのラベル付きデータが限られている場合に生じる転移学習における負の転移の課題に対処すること。
• 転移学習モデルと共同で最適化されていない既存のデータ選択手法の限界を克服すること。
• データ選択とモデル学習をエンドツーエンドで最適化する統合フレームワークを構築し、転移の効率性と有効性を向上させること。
• 選択されたソースデータがターゲットドメインとより分布的に整合しているかどうかを検証することにより、転移可能性を高めること。

提案手法

• エージェントがソースインスタンスを選択してTLモデルを学習する段階的意思決定問題としてデータ選択プロセスを定式化する。
• エージェント（データ選択者）がどのソースサンプルを含めるかを決定し、評価者（クライアント）が選択の質を、得られるTLモデルの性能に基づいて評価する、アクター・クリティックフレームワークを設計する。
• 現在のトレーニングバッチとターゲットドメインデータの表現を状態として定義することで、文脈に依存した選択意思決定を可能にする。
• TLモデルの性能向上（例：F1スコアや正答率）をスパarsな報酬信号として用い、選択者のポリシーを更新する。
• 強化されたデータ選択器を深層ニューラルネットワークベースの転移学習モデルに統合し、選択と学習の共同最適化を可能にする。
• ソースドメインとターゲットドメイン間の分布的類似度を測定するためにワッサーシュタイン距離を適用し、選択されたデータがターゲットドメインに近い分布に近いことを検証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくデータ選択器は、ランダム選択やヒューリスティック選択と比較して、テキストマッチングタスクにおける転移学習性能を向上させることができるか？
• RQ2 提案されたRTL手法は、分布的にターゲットドメインに近いソースデータを選択することで、負の転移を低減するか？
• RQ3 状態表現、報酬設計、ポリシー最適化手法の変動に対して、RTLフレームワークはどれほど頑健か？
• RQ4 ワッサーシュタイン距離で測定した場合、選択されたソースデータはランダムに選択されたデータや破棄されたデータよりもターゲットドメインに分布的に近いか？

主な発見

• RTL手法は、類似語同定および自然言語推論タスクの両方で、ベースラインの転移学習およびデータ選択手法と比較して統計的に有意な性能向上を示した。
• 選択されたソースデータ（D_select）は、元のソースデータよりもターゲットドメインに近い分布的類似度を示しており、それぞれPIでは4.963×10⁻⁶、NLIでは3.190×10⁻⁶のワッサーシュタイン距離を示した。
• 破棄されたソースデータ（D_drop）は、元のソースデータよりも高いワッサーシュタイン距離（5.320×10⁻⁶および3.290×10⁻⁶）を示しており、関連性が低く、有害である可能性があることが示された。
• ランダムに選択されたデータ（D_rand）は最小限の分布シフト（5.232×10⁻⁶および3.243×10⁻⁶）を示し、安定なベースラインとして機能した。
• 本手法は、異なる状態表現、報酬関数、ポリシー最適化戦略に対しても頑健であり、一貫した性能向上を示した。
• 事例研究により、強化された選択器が、ターゲットドメインの語彙分布に近いソースインスタンスを優先して選択するよう学習していることが確認され、転移可能性の直感的原則が妥当であることが裏付けられた。