[論文レビュー] None Class Ranking Loss for Document-Level Relation Extraction

Zhou Yang, Wee Sun Lee|arXiv (Cornell University)|May 1, 2022

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、文書レベルの関係抽出のための新しいマルチラベル損失であるNone Class Ranking Loss (NCRL)を提案する。NCRLは、'none'クラスと各事前に定義された関係クラスの間で大きな信頼度スコアのマージンを強制することで、ラベル相関をモデル化し、文脈依存のしきい値設定を可能にする。標準的なバイナリクロスエントロピーと比較して、特に正例・負例のクラス不均衡やノイズのあるラベルが存在する状況下で性能を向上させ、DocRED、DialogRE、GoEmotionsのデータセットで最先端の結果を達成する。

ABSTRACT

Document-level relation extraction (RE) aims at extracting relations among entities expressed across multiple sentences, which can be viewed as a multi-label classification problem. In a typical document, most entity pairs do not express any pre-defined relation and are labeled as "none" or "no relation". For good document-level RE performance, it is crucial to distinguish such none class instances (entity pairs) from those of pre-defined classes (relations). However, most existing methods only estimate the probability of pre-defined relations independently without considering the probability of "no relation". This ignores the context of entity pairs and the label correlations between the none class and pre-defined classes, leading to sub-optimal predictions. To address this problem, we propose a new multi-label loss that encourages large margins of label confidence scores between each pre-defined class and the none class, which enables captured label correlations and context-dependent thresholding for label prediction. To gain further robustness against positive-negative imbalance and mislabeled data that could appear in real-world RE datasets, we propose a margin regularization and a margin shifting technique. Experimental results demonstrate that our method significantly outperforms existing multi-label losses for document-level RE and works well in other multi-label tasks such as emotion classification when none class instances are available for training.

研究の動機と目的

• 標準的なマルチラベル損失（例：バイナリクロスエントロピー）が文書レベルの関係抽出において'none'クラスを無視し、グローバルなしきい値依存に依存するという限界を是正すること。
• ラベルの信頼度マージンを通じて、'none'クラスと事前に定義された関係クラスの関係を明示的にモデル化することで、モデルの性能を向上させること。
• 現実の文書レベルREデータセットにおける正例・負例のクラス不均衡および誤標籤データに対するロバスト性を向上させること。
• 'none'クラススコアをインスタンス固有のしきい値として用いることで、文脈依存のしきい値設定を可能にすること。

提案手法

• 各事前に定義された関係クラスと'none'クラスの信頼度スコアのマージンを最大化する新しいサーヴィヴァル損失、None Class Ranking Loss (NCRL) を提案する。
• マルチラベル予測タスクを、正例関係が'none'クラスより上位にランク付けされ、負例関係が下位にランク付けされるというランク付け問題として定式化する。
• マージン正則化を導入し、'none'クラススコアより著しく低い信頼度を持つ負例をペナルティ化することで、正例・負例の不均衡を緩和する。
• マージンシフトを適用し、異常に高い信頼度スコアを持つ負例の影響を低減することで、ラベルノイズに対するロバスト性を向上させる。
• 文脈に適応した表現を生成するために、BERTベースの文書エンコーダーを用い、その後に分類ヘッドを介して関係スコアを予測する。
• 'none'クラススコアが動的しきい値として機能する： 'none'クラススコアより高いスコアを持つ関係はすべて正例として予測される。

実験結果

リサーチクエスチョン

• RQ1 明示的に'none'クラスをモデル化するマルチラベル損失は、標準的なバイナリクロスエントロピーと比較して、文書レベルの関係抽出の性能を向上させることができるか？
• RQ2 'none'クラススコアを用いてインスタンス依存のしきい値を学習することは、グローバルなしきい値よりも一般化性能を向上させるか？
• RQ3 NCRLは、文書レベルREデータセットにおける正例・負例のクラス不均衡に対してどれほど効果的か？
• RQ4 NCRLは、異常に高い信頼度スコアを持つデータに対して、特にノイズの多いデータに対してロバストであるか？
• RQ5 'none'クラスのインスタンスが利用可能な状況下で、NCRLは他のマルチラベルタスクにも一般化可能か？

主な発見

• NCRLは、DocREDおよびDialogREの文書レベル関係抽出データセットにおいて、バイナリクロスエントロピーおよび他のマルチラベル損失を著しく上回る性能を発揮する。
• DocREDデータセットでは、NCRLがテストF1スコア73.13%を達成し、次に良い手法（最適化された各ラベルのしきい値を用いたBCE）を1.29ポイント上回る。
• NCRLはハイパーパramータの選択に対して頑健であり、特にマージンシフトパラメータγの変動に対して性能の変動が最小限に抑えられている。
• 'none'クラスインスタンスが存在しないAAPDデータセットに適用した場合、NCRLはBCEを上回らないことが確認され、'none'クラスインスタンスがNCRLの有効性にとって不可欠であることが示された。
• マージン正則化およびマージンシフトの手法は、ノイズや不均衡なサンプルの影響を効果的に低減し、モデルの一般化性能を向上させた。
• NCRLは、細粒度の感情分類データセットであるGoEmotionsでも最先端の性能を達成し、'none'クラスインスタンスが存在する他のマルチラベルタスクへの一般化可能性を確認した。