[論文レビュー] Transfer Learning for Relation Extraction via Relation-Gated Adversarial Learning

Ningyu Zhang, Shumin Deng+4 more|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 36被引用数 7

ひとこと要約

本稿では、言語的ばらつき、関係分布の不均衡、部分的適応を解決するための新しいドメイン適応フレームワーク、関係ゲート付き対抗学習（R-Gated）を提案する。R-Gatedは関係ゲート機構を用いて不要なソースサンプルの重みを低減することで、低リソースおよびノイズの多い遠隔監視設定下でも、ドメイン不変特徴を学習しながら、外れ関係や転送不可能なインスタンスを自動でフィルタリングする。この手法により、低リソースおよびノイズの多い遠隔監視設定下での性能が向上する。

ABSTRACT

Relation extraction aims to extract relational facts from sentences. Previous models mainly rely on manually labeled datasets, seed instances or human-crafted patterns, and distant supervision. However, the human annotation is expensive, while human-crafted patterns suffer from semantic drift and distant supervision samples are usually noisy. Domain adaptation methods enable leveraging labeled data from a different but related domain. However, different domains usually have various textual relation descriptions and different label space (the source label space is usually a superset of the target label space). To solve these problems, we propose a novel model of relation-gated adversarial learning for relation extraction, which extends the adversarial based domain adaptation. Experimental results have shown that the proposed approach outperforms previous domain adaptation methods regarding partial domain adaptation and can improve the accuracy of distance supervised relation extraction through fine-tuning.

研究の動機と目的

• クロスドメイン関係抽出における言語的ばらつき、関係分布の不均衡、部分的ドメイン適応の課題に対処すること。
• 低リソースのターゲットドメインにおけるラベル空間の不一致とノイズの多い遠隔監視によって引き起こされる負の転送を低減すること。
• ドメイン適応中に不要または転送不可能なソースサンプルを自動で特定し、重みを低減する手法を開発すること。
• 一般的なソースドメインを用いたファインチューニングにより、遠隔監視ベースの関係抽出の正確性を向上させること。
• 限定的またはノイズの多いラベルを有する特定のターゲットドメイン（例：ファイナンス、医療）へ、高品質なソースドメイン（例：Wikipedia、Wikidata）からの効果的な知識転送を可能にすること。

提案手法

• モデルは、ドメイン間での言語的ばらつきを分離することができる転送可能な文表現を抽出するため、CNNベースのインスタンスエンコーダーを用いる。
• 勾配反転層を用いた対抗的ドメイン適応により、ソースドメインとターゲットドメインの特徴分布を一致させる。
• 外れ関係や転送不可能なサンプルを抑制するために、動的カテゴリーやインスタンス重みを計算する関係ゲート機構を採用する。
• カテゴリ重み（$w^c$）は関係タイプごとに学習され、ソースドメインにおける不一致またはレアな関係の影響を低減する。
• インスタンス重み（$w^i$）は各サンプルごとに計算され、関係クラス内での転送不可能またはノイズの多い例を軽視する。
• 最終分類器は、ソース分類器とドメイン識別器からの重み付き予測を統合し、ターゲットドメインにおける一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 一般ドメイン（例：Wikipedia）から、ラベル空間が小さい特定の低リソースドメインに、関係抽出モデルを効果的に適応できるか。
• RQ2 関係ゲート機構は、ソースドメインとターゲットドメイン間の関係分布の不均衡や不一致によって引き起こされる負の転送をどの程度低減できるか。
• RQ3 動的サンプル重み付けを組み合わせた対抗的ドメイン適応は、ノイズの多い遠隔監視データにおける性能を向上させられるか。
• RQ4 ソースラベル空間がターゲットラベル空間のスーパーセットである部分的ドメイン適応の状況下で、モデルはどの程度の性能を示すか。
• RQ5 手動による介入なしに、モデルは転送不可能なインスタンスや外れ関係を自動で特定し、重みを低減できるか。

主な発見

• R-Gatedは、特にターゲットクラス数が減少する部分的ドメイン適応設定下で、標準的な対抗的ドメイン適応（例：CNN+DANN）を上回る性能を発揮する。
• Wiki-NYTデータセットでは、PCNN+R-Gatedはターゲットクラスが6つにまで減少しても強い性能を維持するが、CNN+DANNは著しく劣化する。これは負の転送が低減していることを示している。
• 関係ゲート機構は、ターゲットドメインに存在しないか希少な関係（例：capital_of）に対して低い重みを割り当てることに成功している。
• ケーススタディでは、誤検出（誤りの正例）を特定し、重みを低減することで、遠隔監視におけるノイズラベルを是正できている。例：place_of_birthや類縁関係。
• 同じ関係クラス内でも、意味的に転送可能な例には高いインスタンス重みが割り当てられ、転送不可能または曖昧な例には低い重みが割り当てられる。
• ケーススタディにより、モデルが外れクラスやノイズの多いインスタンスを自動で検出し、その影響を緩和できることを確認した。これにより、低リソース環境下でのロバスト性が向上した。