[論文レビュー] The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis

Haiyang Yu, Ningyu Zhang+4 more|arXiv (Cornell University)|Sep 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 16

ひとこと要約

本稿では、長尾関係分類の課題に応えるために表現学習から分離された新しい分類器、Attentive Relation Routing (ARR) を提案する。関係に動的ソフト注目重みを割り当てることで、ヘッド性能を損なうことなくテール性能を向上させ、FewRel-LT (+5% マクロF1) および TACRED (+3% マイクロF1) で最先端の結果を達成した。これは、長尾NLPタスクにおいて分類器設計が表現学習よりも重要であることを示している。

ABSTRACT

Long-tailed relation classification is a challenging problem as the head classes may dominate the training phase, thereby leading to the deterioration of the tail performance. Existing solutions usually address this issue via class-balancing strategies, e.g., data re-sampling and loss re-weighting, but all these methods adhere to the schema of entangling learning of the representation and classifier. In this study, we conduct an in-depth empirical investigation into the long-tailed problem and found that pre-trained models with instance-balanced sampling already capture the well-learned representations for all classes; moreover, it is possible to achieve better long-tailed classification ability at low cost by only adjusting the classifier. Inspired by this observation, we propose a robust classifier with attentive relation routing, which assigns soft weights by automatically aggregating the relations. Extensive experiments on two datasets demonstrate the effectiveness of our proposed approach. Code and datasets are available in https://github.com/zjunlp/deepke.

研究の動機と目的

• 表現学習と分類器設計のどちらが長尾関係分類においてより重要であるかを調査すること。
• 表現学習から分類器学習を分離することで、長尾性能の背後にあるメカニズムをよりよく理解すること。
• 頑健で適応可能な分類器を用いて、ヘッド性能を損なわずテール関係分類を向上させること。
• 関係間で動的に注目をルーティングするためのソフト重み付け機構を開発すること。

提案手法

• 著者たちは2段階の分離分析を実施：まずインスタンスバランスサンプリングを用いて固定されたBERTエンコーダーを学習し、その後さまざまな分類器学習戦略を評価する。
• 彼らは、キャプセルネットワークの動的ルーティングにインspiredされたソフト重み付け機構であるAttentive Relation Routing (ARR) を提案する。これは分類時に関係に注目に基づく重みを割り当てる。
• ARRは、関係表現を注目を介して集約するルーティング機構を用い、分類器が情報の多い関係に適応的に注目できるようにする。
• この手法はクロスエントロピー損失を用いてエンドツーエンドで訓練され、ルーティング重みはバックプロパゲーションにより更新され、識別能が向上する。
• アプローチは、マクロF1とマイクロF1を指標として用い、FewRel-LT（FewRelの長尾バージョン）およびTACREDで評価される。
• 著者たちは、再現可能性および今後のベンチマークのためのコードと長尾関係分類テストベッドを公開する。

実験結果

リサーチクエスチョン

• RQ1 長尾関係分類において、表現学習と分類器学習のどちらがより重要か？
• RQ2 表現エンコーダーを再学習せずに、良好に訓練された分類器が不均衡データを補償できるか？
• RQ3 注目ベースのルーティングのようなソフト重み付け機構は、ハード重み付けや固定分類器に比べて長尾設定で優れているか？
• RQ4 分離型分類器はヘッド性能を損なわずテール性能を向上させられるか？

主な発見

• 固定されたBERTエンコーダーを用いた場合、分類器の再重み付け（例：RWL, FCL, DSL）および再サンプリング（例：PBS）により性能が顕著に向上し、分類器設計が表現学習よりも影響力が大きいことを示している。
• データ再サンプリングおよび損失再重み付け手法はテール性能を向上させるが、ヘッド性能を低下させる傾向があることから、従来のアプローチにはトレードオフがあることが示唆される。
• 提案されたAttentive Relation Routing (ARR) は、FewRel-LTで75.30のマクロF1、TACREDで68.8のマイクロF1を達成し、BBN や τ-norm を含むすべてのベースラインを上回った。
• ARRはヘッド性能を低下させることなくテールF1を向上させ、ソフト注目ルーティングがすべてのクラスにわたる識別能を向上させることを示している。
• アブレーションスタディにより、ARRの動的ルーティング機構が、特に長尾分布においてヘッドとテールの性能をバランスさせる鍵であることが確認された。