[論文レビュー] Finding Influential Instances for Distantly Supervised Relation Extraction

Zifeng Wang, Rui Wen+4 more|arXiv (Cornell University)|Sep 17, 2020

Topic Modeling参考文献 6被引用数 24

ひとこと要約

本稿では、影響関数を用いて高品質な訓練インスタンスを特定・低サンプリングすることで、複雑なアーキテクチャに依存せずにノイズを低減する、モデルに依存しない解釈可能な手法REIFを提案する。REIFは高速な影響関数サンプリングアルゴリズムによりO(1)の計算複雑度を達成し、注意機構、強化学習、GANベースのベースラインを上回る最先端の性能を発揮するとともに、透明性があり安定したインスタンス選択を可能にする。

ABSTRACT

Distant supervision (DS) is a strong way to expand the datasets for enhancing relation extraction (RE) models but often suffers from high label noise. Current works based on attention, reinforcement learning, or GAN are black-box models so they neither provide meaningful interpretation of sample selection in DS nor stability on different domains. On the contrary, this work proposes a novel model-agnostic instance sampling method for DS by influence function (IF), namely REIF. Our method identifies favorable/unfavorable instances in the bag based on IF, then does dynamic instance sampling. We design a fast influence sampling algorithm that reduces the computational complexity from $\mathcal{O}(mn)$ to $\mathcal{O}(1)$, with analyzing its robustness on the selected sampling function. Experiments show that by simply sampling the favorable instances during training, REIF is able to win over a series of baselines that have complicated architectures. We also demonstrate that REIF can support interpretable instance selection.

研究の動機と目的

• 遠隔教師付き関係抽出（DS-RE）における高いラベルノイズがモデル性能を損なう問題に対処すること。
• 複雑なアーキテクチャに依存せずに、ノイズを低減するモデルに依存しない解釈可能な訓練インスタンス選択手法を開発すること。
• 深層学習モデルにおけるインスタンス品質を測るための影響関数の使用について、理論的・実験的根拠を提供すること。
• 最小限の計算オーバーヘッドで高い性能を維持する計算効率の良いサンプリング戦略を設計すること。
• 影響に基づくサンプリングが、特にマイノリティ関係において一般化性能とロバストネスを向上させることを示すこと。

提案手法

• REIFは、各訓練インスタンスがモデルの損失に与える影響を測定するために影響関数（IF）を用い、各インスタンスに品質スコアφを割り当てる。
• 影響値が低い（より負の値が大きい）インスタンスは、より高品質とされ、シグモイドベースの確率的関数πを介して高いサンプリング確率が割り当てられる。
• 単一の勾配計算と線形近似を用いることで、影響スコアの近似により、計算複雑度をO(mn)からO(1)に低減する高速な影響関数サンプリングアルゴリズムを導入する。
• 動的インスタンスサンプリング（DIS）をサポートし、訓練中に有利なインスタンスを適応的に保持することで、マイノリティ関係におけるモデルのロバストネスを向上させる。
• 不正確な影響推定値に起因する分散を低減するため、曖昧なインスタンスに対しては類似した確率を割り当てるように、サンプリング関数πを設計する。
• REIFはモデルに依存せず、PCNNなど任意の深層学習ベースのREモデルに、アーキテクチャの変更なしに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 影響関数は、遠隔教師付き関係抽出における高品質な訓練インスタンスを特定するために効果的に利用可能か？
• RQ2 影響に基づくインスタンスサンプリングは、注意機構、強化学習、GANベースのベースラインと比較して、モデル性能を向上させるか？
• RQ3 提案手法は、O(1)の複雑度を達成しながら、異なるデータセットやドメインにおいてもロバストネスを維持できるか？
• RQ4 確率的サンプリングは、決定論的または事後的サンプリングと比較して、安定性と性能の面で優れているか？
• RQ5 影響に基づくサンプリングは、関係抽出におけるマイノリティ関係や誤検出（ファルスネガティブ）の検出をどの程度向上させられるか？

主な発見

• REIFは、注意機構、強化学習、GANベースの強力なベースラインをすべて上回り、手動評価における上位500件の予測で平均82.7%の正確度を達成した。
• サンプリング比が5%から30%の範囲で安定した性能を維持しており、高品質なインスタンスに注目することで効果的な学習が可能であることが示された。
• 確率的シグモイドサンプリングは、決定論的サンプリングと比較して著しくロバストネスが向上し、不正確な影響推定値に起因する分散を低減した。
• 動的インスタンスサンプリング（DIS）は、訓練中から有利なインスタンスをより多く保持するため、特にマイノリティ関係において事後的サンプリングを上回った。
• 事例研究により、影響値がインスタンス品質を定量的に反映していることが確認され、負の影響値は正しいで情報量の多いサンプルを示している。
• 高速な影響関数サンプリングアルゴリズムにより、O(1)の複雑度を達成し、REIFが大規模な遠隔教師付きデータセットに対してスケーラブルかつ実用的であることが示された。