[論文レビュー] Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation

Peiyi Wang, Yifan Song+5 more|arXiv (Cornell University)|Oct 10, 2022

Data Stream Mining Techniques被引用数 4

ひとこと要約

本稿では、類縁関係に対して表現のロバスト性を向上させることで継続的関係抽出（CRE）を改善するモデルに依存しない手法である敵対的クラス拡張（ACA）を提案する。訓練中にハイブリッドおよび逆転クラス拡張を用いてハードネガティブクラスを生成することで、特に意味的に類縁な関係に対して、崩壊的忘却を軽減する。2つのベンチマークにおいて、最新のCREモデルを一貫して向上させる。

ABSTRACT

Continual relation extraction (CRE) aims to continually learn new relations from a class-incremental data stream. CRE model usually suffers from catastrophic forgetting problem, i.e., the performance of old relations seriously degrades when the model learns new relations. Most previous work attributes catastrophic forgetting to the corruption of the learned representations as new relations come, with an implicit assumption that the CRE models have adequately learned the old relations. In this paper, through empirical studies we argue that this assumption may not hold, and an important reason for catastrophic forgetting is that the learned representations do not have good robustness against the appearance of analogous relations in the subsequent learning process. To address this issue, we encourage the model to learn more precise and robust representations through a simple yet effective adversarial class augmentation mechanism (ACA), which is easy to implement and model-agnostic. Experimental results show that ACA can consistently improve the performance of state-of-the-art CRE models on two popular benchmarks.

研究の動機と目的

• 継続的関係抽出（CRE）における崩壊的忘却の根本的要因を解明すること、特に意味的に類縁な関係に注目する。
• 先行研究で一般的に仮定されている、新しい関係が導入される前に旧関係が十分に学習されているという仮定に挑戦すること。
• 初期段階の簡単なタスクにおけるショートカット学習が原因で生じる非頑健な表現という、見過ごされがちな問題に取り組むこと。
• 崩壊的忘却が発生する前に対象となる表現のロバスト性を向上させる、シンプルで効果的かつモデルに依存しない手法を開発すること。
• 敵対的クラス拡張が、特に類縁関係が登場する場合に、後続のタスクにおける忘却を軽減できることを示すこと。

提案手法

• ACAは、ハードネガティブ例を生成するための2つのクラス拡張戦略、すなわちハイブリッドクラス拡張と逆転クラス拡張を導入する。
• 訓練中に、新規関係と敵対的に拡張されたクラスを同時に学習させることで、モデルがより判別力があり頑健な表現を形成するよう促進する。
• この手法は、各新しいタスクの初期訓練フェーズに適用され、将来的な忘却に対する予防策として機能する。
• ACAは、忘却が発生した後に知識を保持することに焦点を当てる既存のリハーよりも直交するため、補完的である。
• アーキテクチャの変更なしに、任意のバックボーンCREモデルに適用可能であり、軽量である。
• ハードネガティブクラスは、意味的に類縁だが異なる関係の特徴またはラベルを組み合わせることで構築され、訓練中にそれらを区別する難易度を高める。

実験結果

リサーチクエスチョン

• RQ1 なぜCREにおける崩壊的忘却は、特に後続に出現する類縁関係に対して顕著に影響を及ぼすのか？
• RQ2 既存のCREモデルの失敗は、容易で挑戦のないデータに対する初期段階の訓練で生じる非頑健な表現に起因する程度はどの程度か？
• RQ3 敵対的データ拡張は、意味的に類縁な関係においても、表現のロバスト性を向上させることができるか？
• RQ4 ACAは、既存のリハーサルベース手法と比較して、性能向上と忘却軽減の両面でどの程度優れているか？
• RQ5 ACAの有効性は、メモリサイズやデータセット内の関係の類似度に依存するか？

主な発見

• CREにおける崩壊的忘却は、類縁関係の存在と強く相関している。後続のタスクに類縁関係が登場すると、性能が著しく低下する。
• EMARモデルでは、P26が導入された際、P25のF1スコアが14ポイント低下し、非頑健な表現による深刻な忘却が示された。
• ACAを適用した場合、同じモデルではP25のF1スコアがP26導入時において4ポイントの低下にとどまり、顕著な忘却軽減が確認された。
• FewRelにおいて、EMAR+ACAは、メモリサイズが5、10、20の各条件下で、それぞれ2.8、1.1、0.7ポイントの精度向上を示し、設定にかかわらず一貫した向上が得られた。
• 誤差解析の結果、ACAは最大類似度（MS）が高いために特に効果的に忘却を軽減することが分かったが、これらの困難なケースでは教師ありベースラインとの性能差は依然として存在する。
• ACAは、類似度グループG3（最高類似度群）においてF1スコアを最大0.9ポイント向上させ、意味的に類縁な関係に対して有効であることが示された。