[論文レビュー] An Overview of Distant Supervision for Relation Extraction with a Focus on Denoising and Pre-training Methods

William J. Hogan|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用数 4

ひとこと要約

本調査は、関係抽出における遠隔教師あり学習について、ノイズ除去と事前学習手法に焦点を当てたものである。本研究では、訓練インスタンスの学習順序を活用し、対照的事前学習中に初期に学習された、おそらく正しいとされるインスタンスに高い重みを付けることで、関係表現の質を向上させる、細分化された対照的学習（FineCL）を提案する。この手法は、DocRED、TACRED、SemEvalデータセットで最先端の性能を達成した。

ABSTRACT

Relation Extraction (RE) is a foundational task of natural language processing. RE seeks to transform raw, unstructured text into structured knowledge by identifying relational information between entity pairs found in text. RE has numerous uses, such as knowledge graph completion, text summarization, question-answering, and search querying. The history of RE methods can be roughly organized into four phases: pattern-based RE, statistical-based RE, neural-based RE, and large language model-based RE. This survey begins with an overview of a few exemplary works in the earlier phases of RE, highlighting limitations and shortcomings to contextualize progress. Next, we review popular benchmarks and critically examine metrics used to assess RE performance. We then discuss distant supervision, a paradigm that has shaped the development of modern RE methods. Lastly, we review recent RE works focusing on denoising and pre-training methods.

研究の動機と目的

• パターンベースのアプローチから大規模言語モデルベースのアプローチへと進化した関係抽出（RE）手法の歴史を包括的に概説すること。
• 従来のRE手法の限界、特にパターンベースシステムにおける低リCALLと統計的モデルにおけるデータ不足の分析。
• 知識グラフと非構造化テキストを用いて、大規模かつ弱教師ありの関係抽出を可能にする遠隔教師あり学習の役割の検討。
• 遠隔教師ありREにおけるノイズ除去と事前学習技術の最新の進展が、耐障害性と性能向上にどのように寄与するかの調査。
• 訓練のダイナミクスを活用して関係表現学習を強化する、細分化された対照的学習（FineCL）の有効性の評価。

提案手法

• FineCLは、交差エントロピー損失を用いて遠隔教師ありデータで事前学習された、市販の言語モデル（例：RoBERTa）を用いる。
• この手法は、関係インスタンスが初めて正しく予測された訓練順序を記録し、初期に学習されたインスタンスはより正確にラベル付けされていると仮定する。
• 学習順序に基づいてインスタンス固有の重みを計算し、早期に学習されたインスタンス（とくにクリーニングされたデータと想定される）に高い重みを付与する。
• これらのインスタンス重みは、意味的に類似した関係がクラスタリングされるよう促進する対照的学習損失関数を調整するために用いられる。
• その結果得られる対照的目的関数は、事前学習段階での関係表現の質を向上させる。
• 最終的なモデルは、事前学習段階で得られた強化された表現を用いて、ゴールドラベル付きデータセットで微調整される。

実験結果

リサーチクエスチョン

• RQ1 遠隔教師あり関係抽出における訓練インスタンスの学習順序とラベルの正確性の相関関係は何か？
• RQ2 訓練のダイナミクスに基づく細分化された教師あり学習は、リソースが限られた状況での関係表現学習を改善できるか？
• RQ3 対照的事前学習にインスタンスの学習順序を組み込むことで、下流の関係抽出ベンチマークでの性能向上はどの程度達成されるか？
• RQ4 ノイズ除去と事前学習手法は、遠隔教師あり関係抽出データのノイズをどの程度軽減できるか？
• RQ5 標準的なREベンチマークにおいて、FineCLは既存の事前学習およびノイズ除去ベースラインと比較して、どの程度の性能を示すか？

主な発見

• FineCLは、100%の訓練データを用いたDocREDテストセットで最先端の性能を達成し、F1-microスコアは59.5%にのぼり、RoBERTa や ERICA といったすべてのベースラインを上回った。
• TACREDデータセットでは、100%の訓練データを用いてF1-microスコア70.3%を達成し、次に良いベースライン（ERICA RoBERTa）を0.8ポイント上回った。
• SemEval-2010 Task 8では、100%のデータを用いてF1-microスコア88.7%を達成し、最高のベースライン（ERICA RoBERTa）を0.9ポイント上回った。
• すべてのベンチマークで、1%、10%、100%のデータ設定において一貫した向上を示し、データ不足の状況でも頑健であることが示された。
• 対照的学習における学習順序に基づく重み付けの導入により、特に低データ環境下で一般化性能が向上した。
• 初期学習とラベル正確性の相関関係が実証的に検証され、FineCLの核心的仮定が裏付けられた。