[論文レビュー] Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach

Peiyi Wang, Yifan Song+5 more|arXiv (Cornell University)|Sep 1, 2022

Data Stream Mining Techniques被引用数 5

ひとこと要約

本稿では、継続的関係抽出（CRE）のための単純だが効果的な2段階アプローチであるFeaを提案する。まず、Fast Adaption（FA）により新規関係に迅速に適応し、次にBalanced Tuning（BT）によりバランスの取れたメモリデータ上で微調整を行う。単純さにもかかわらず、データの不均衡や崩壊的忘却を引き起こす歪んだ意思決定境界を軽減することで、FewrelおよびTacredで最先端または同等の性能を達成している。

ABSTRACT

Continual relation extraction (CRE) requires the model to continually learn new relations from class-incremental data streams. In this paper, we propose a Frustratingly easy but Effective Approach (FEA) method with two learning stages for CRE: 1) Fast Adaption (FA) warms up the model with only new data. 2) Balanced Tuning (BT) finetunes the model on the balanced memory data. Despite its simplicity, FEA achieves comparable (on TACRED or superior (on FewRel) performance compared with the state-of-the-art baselines. With careful examinations, we find that the data imbalance between new and old relations leads to a skewed decision boundary in the head classifiers over the pretrained encoders, thus hurting the overall performance. In FEA, the FA stage unleashes the potential of memory data for the subsequent finetuning, while the BT stage helps establish a more balanced decision boundary. With a unified view, we find that two strong CRE baselines can be subsumed into the proposed training pipeline. The success of FEA also provides actionable insights and suggestions for future model designing in CRE.

研究の動機と目的

• 新規関係と旧関係の間のデータ不均衡が原因で生じる崩壊的忘却を緩和すること。
• 複雑なアーキテクチャを備えながらも、最先端のCREモデルが性能を発揮できない理由を解明すること。
• 性能を向上させるために、既存の強力なベースラインを単純化し、その根幹となる原則を同定すること。
• 特に分類器設計と関係の識別に関する観点から、将来のCREモデルにおける実用的な設計インサイトを提供すること。

提案手法

• Feaは2段階のトレーニングパイプラインを採用する：Fast Adaption（FA）は、新規データにのみ特化してモデルを微調整し、出現する関係を迅速に学習する。
• 次に、Balanced Tuning（BT）により、旧データと新データを組み合わせたダウンサンプリングされたバランスの取れたメモリセット上でモデルを微調整することで、クラスの不均衡を低減する。
• 複雑なメモリネットワークやプロトタイプベースの最適化を避ける一方で、データのバランスと順次トレーニングに焦点を当てる。
• 本手法は、EMARとRPCREという2つの強力なベースラインを、複雑なモジュールを単純で効果的なコンponentsに置き換えることで包含している。
• 勾配ノルム分析と誤差分析を用いて、データ不均衡と分類器の歪みが性能に与える影響を検証する。
• メモリネットワークにおける注意バイアスを軽減するために、関係プロトタイプのノルムを正規化し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最先端のCREモデルが複雑なアーキテクチャを備えながらも、なぜ崩壊的忘却を経験するのか？
• RQ2 新規関係と旧関係の間のデータ不均衡が、CREにおける分類器の意思決定境界にどのように影響するか？
• RQ3 単純な2段階トレーニング戦略が、継続的関係抽出において複雑なモデルを凌駆できるか？
• RQ4 既存の強力なベースラインは、本手法の根幹となる原則を用いてどの程度単純化され、改善可能か？
• RQ5 強固で汎用性の高い継続的関係抽出モデルを構築するにあたり、最も効果的な設計原則は何か？

主な発見

• FeaはFewrel（27.8 F1）で優れた性能を達成し、Tacred（45.0 F1）でも同等の結果を得ており、EMAR や RPCRE といった複雑なベースラインを上回っている。
• Fast Adaption段階を削除すると、Fewrelでは1.4 F1ポイント、Tacredでは4.1 F1ポイントの性能低下が生じ、この段階が忘却の緩和に果たす重要性が示された。
• メモリデータのバランスを取ることで、EMARの性能がTacredで1.1 F1ポイント、Fewrelで0.4 F1ポイント向上し、データ不均衡が主な要因であることが裏付けられた。
• RPCREのメモリネットワークは、高ノルムプロトタイプに注目を向けるバイアスを生じさせ、類似関係の間で混同を増加させ、性能を低下させている。
• 関係プロトタイプのノルムを正規化することで、Fewrelでは0.2 F1ポイント、Tacredでは1.2 F1ポイントの精度向上が確認され、正規化の影響が明確に示された。
• 誤差分析の結果、RPCREは「followed by」の40.7％を「follow」と誤分類するのに対し、Feaは30.7％にとどまり、類似関係の識別性能が優れていることが示された。