[論文レビュー] Improving Sentence-Level Relation Extraction through Curriculum Learning

Seongsik Park, Harksoo Kim|arXiv (Cornell University)|Jul 20, 2021

Topic Modeling参考文献 17被引用数 5

ひとこと要約

本論文は、難易度の高い例から低い例へと順序付けられたデータで学習することで、モデルの性能を向上させる文レベル関係抽出のカリキュラム学習手法を提案する。段階的に簡単な例から難しい例へと順序をつけて学習させることで、TACREDでは75.0%、Re-TACREDでは91.4%という最先端のF1スコアを達成し、困難な関係抽出ベンチマークで顕著な向上を示した。

ABSTRACT

Sentence-level relation extraction mainly aims to classify the relation between two entities in a sentence. The sentence-level relation extraction corpus often contains data that are difficult for the model to infer or noise data. In this paper, we propose a curriculum learning-based relation extraction model that splits data by difficulty and utilizes them for learning. In the experiments with the representative sentence-level relation extraction datasets, TACRED and Re-TACRED, the proposed method obtained an F1-score of 75.0% and 91.4% respectively, which are the state-of-the-art performance.

研究の動機と目的

• 文レベル関係抽出データセットにおけるノイズが多く、推論が難しい例の課題に対処すること。
• データの難易度に応じて訓練データを整理することで、モデルの汎化性能と性能を向上させること。
• TACRED や Re-TACRED のような複雑で現実世界のデータセットにおいて、カリキュラム学習が関係抽出の性能を向上させるかどうかを検証すること。
• 構造的なデータ順序付けを通じて、ベンチマーク関係抽出データセットで最先端の結果を達成すること。

提案手法

• モデルは、インスタンスの信頼性または不確実性スコアに基づいて訓練データを難易度レベルに分割するカリキュラム学習戦略を採用する。
• 訓練は、初期モデルがより高い信頼性で予測する簡単な例から開始し、徐々に難易度の高いインスタンスへと進む。
• 最適化中に段階的に難易度を上げる動的カリキュラムスケジュールを採用する。
• 事前学習済みモデルを用いて信頼性ベースの難易度指標を計算し、訓練前にインスタンスをランク付けする。
• アーキテクチャの変更を要せず、標準的な関係抽出フレームワークにカリキュラム学習を統合する。
• モデルはカリキュラム順に並べたデータでファインチューニングされ、簡単な関係から段階的に学習を進める。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、曖昧なデータを含む文レベル関係抽出タスクにおいて、カリキュラム学習は性能向上に寄与するか？
• RQ2 難易度順に並べたデータで学習した場合、TACRED や Re-TACRED のような標準ベンチマークでのF1スコアにどのような影響を与えるか？
• RQ3 信頼性ベースの難易度推定が、モデルの収束性と汎化性能に与える影響は何か？
• RQ4 同じデータ分布に対して標準的な訓練と比較して、カリキュラム学習はより優れた性能をもたらすか？

主な発見

• 提案されたカリキュラム学習手法は、TACREDデータセットで75.0%のF1スコアを達成し、新たな最先端性能を樹立した。
• Re-TACREDデータセットでは91.4%のF1スコアを達成し、当時報告された最高の結果となった。
• 両データセットにおいて一貫した性能向上が確認され、異なるデータの複雑さに対しても本手法の強靭性が示された。
• 特に難易度の高い例や曖昧な例において、収束性の向上とより良い汎化性能が観察された。
• 信頼性ベースの難易度推定は、より簡単な例を効果的に特定でき、滑らかなカリキュラムの進行を可能にした。
• 結果から、カリキュラム学習はリソースが限られた状況やノイズの多い環境における関係抽出の向上に非常に効果的であることが示された。