[論文レビュー] Zero-shot Transfer Learning for Semantic Parsing

Javid Dadashkarimi, Alexander R. Fabbri+2 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 23被引用数 3

ひとこと要約

本論文は、共有エンコーダ・デコーダと学習可能なドメインマッピング行列を用いて、クロスドメインの例を共有の潜在空間にアライメントするゼロショット転移学習フレームワークを提案する。影響関数を用いたクロスドメインの adversarial 攻撃を通じて、類似しないドメインからの影響力のある例を同定し、データ拡張することで、ベースラインを超えるパrameter数の増加なしに、トークンレベルおよびシーケンスレベルのゼロショット性能を顕著に向上させる。

ABSTRACT

While neural networks have shown impressive performance on large datasets, applying these models to tasks where little data is available remains a challenging problem. In this paper we propose to use feature transfer in a zero-shot experimental setting on the task of semantic parsing. We first introduce a new method for learning the shared space between multiple domains based on the prediction of the domain label for each example. Our experiments support the superiority of this method in a zero-shot experimental setting in terms of accuracy metrics compared to state-of-the-art techniques. In the second part of this paper we study the impact of individual domains and examples on semantic parsing performance. We use influence functions to this aim and investigate the sensitivity of domain-label classification loss on each example. Our findings reveal that cross-domain adversarial attacks identify useful examples for training even from the domains the least similar to the target domain. Augmenting our training data with these influential examples further boosts our accuracy at both the token and the sequence level.

研究の動機と目的

• ラベル付きデータが乏しい状況における低リソース意味解析の課題に対処すること。
• 複数の意味解析ドメイン間で共有表現を学習することで、クロスドメイン一般化を向上させること。
• 類似しないドメインからの影響力のあるトレーニング例を同定し、活用することでモデル性能を向上させること。
• パrameter数の増加を最小限に抑えつつ、低データ環境での精度を維持または向上させること。

提案手法

• 各例をそのドメインにマッピングするための学習可能な重み行列 W_T を用いた、1つの共有エンコーダおよびデコーダを採用し、パラメータ効率の良いドメイン適応を実現する。
• 正しいドメインラベルの予測を促進する損失関数を最小化することで、効果的に共有表現空間を学習する。
• 影響関数を適用して、個々の例がドメイン分類損失に与える影響を定量化し、最も影響力のあるトレーニングインスタンスを同定する。
• あるドメインの例を摂動させ、それによる別のドメインへの影響を測定することで、クロスドメインの adversarial 攻撃を実施し、ドメイン間で非対称な影響が生じることを明らかにする。
• 訓練データを拡張するために、関連性の低いドメイン（例：calendar に対して atis）から上位-k 個の影響力のある例を選択し、再訓練することでゼロショット性能を向上させる。
• W_T の行スライスによる正則化制約を用いることで、パrameter増加を制限し、モデル効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 共有エンコーダ・デコーダにドメインマッピング行列を組み合わせた手法が、既存の転移学習ベースラインと比較して、意味解析における優れたゼロショット性能を達成できるか？
• RQ2 個々の例やドメインはモデル性能にどのように寄与しているのか？特に、最も影響力のあるものは何か？
• RQ3 類似度が最も低いドメインからでも、クロスドメインの adversarial 攻撃によって有用なトレーニング例を同定できるか？
• RQ4 遠く離れたドメインからの影響力に基づくサンプリングによるデータ拡張は、ゼロショット意味解析の正確性を向上させられるか？
• RQ5 モデル性能に与える例の影響はドメイン間で対称的か、それとも一部の転送方向がより効果的か？

主な発見

• 提案手法であるゼロショット k*d 法は、パrameter数が少ないにもかかわらず、最先端の共有エンコーダおよび共有デコーダモデルを上回る高い正確性を達成する。
• 低データ環境における訓練にパrameter数を増やすと性能が低下することが確認され、パrameter効率の利点が裏付けられる。
• 最も類似度が低いドメイン（例：calendar に対して atis）ですら、影響力のある例を含んでおり、それらを訓練に追加することで、トークンレベルおよびシーケンスレベルの両方で性能が向上する。
• クロスドメインの adversarial 攻撃は非対称的である：影響力は一方の方向（例：atis → calendar）の方が逆方向よりも強いことが、影響関数分析によって示された。
• p（頻度の高い例）および 1−p（まれな例）の分布からの影響力に基づくサンプリングによるデータ拡張は性能を向上させ、特に n ≤ 40 個の訓練例が利用可能な場合に顕著である。
• 最も近いドメイン（最大の精度低下）を削除してもモデル性能は頑健に保たれるが、最も遠いドメインを削除するとより感受性が高くなることから、ドメインの有用性は一様でないことが示された。