[論文レビュー] AutoRC: Improving BERT Based Relation Classification Models via Architecture Search

Wei Zhu, Xipeng Qiu+2 more|arXiv (Cornell University)|Sep 22, 2020

Topic Modeling参考文献 26被引用数 5

ひとこと要約

この論文では、エンティティスパン同定、プーリング戦略、特徴量相互作用を探索することで、関係分類のための最適なBERTベースのアーキテクチャを自動で発見する神経ネットワークアーキテクチャ探索（NAS）フレームワークAutoRCを提案する。パラメータ共有と複数のBERTエンコーダーコピーを用いた強化学習を採用することで、7つのベンチマークデータセットで最先端の性能を達成し、タスク固有のアーキテクチャの優位性と過学習に対するロバスト性を示した。

ABSTRACT

Although BERT based relation classification (RC) models have achieved significant improvements over the traditional deep learning models, it seems that no consensus can be reached on what is the optimal architecture. Firstly, there are multiple alternatives for entity span identification. Second, there are a collection of pooling operations to aggregate the representations of entities and contexts into fixed length vectors. Third, it is difficult to manually decide which feature vectors, including their interactions, are beneficial for classifying the relation types. In this work, we design a comprehensive search space for BERT based RC models and employ neural architecture search (NAS) method to automatically discover the design choices mentioned above. Experiments on seven benchmark RC tasks show that our method is efficient and effective in finding better architectures than the baseline BERT based RC model. Ablation study demonstrates the necessity of our search space design and the effectiveness of our search method.

研究の動機と目的

• エンティティスパン同定、プーリング手法、特徴選択といった、最適なBERTベースの関係分類（RC）アーキテクチャについての合意形成の欠如に対処すること。
• 重要なアーキテクチャ的選択をカバーする包括的な探索空間を定式化することで、RCモデルの自動設計を実現すること。
• 強化学習を用いた効率的かつ効果的な神経ネットワークアーキテクチャ探索（NAS）手法を開発し、タスク固有のアーキテクチャを発見すること。
• アブレーション研究およびトランスファーラーニングの実験を通じて、探索空間設計の必要性と探索戦略の有効性を検証すること。

提案手法

• エンティティスパン同定法（例：エンティティマーカーまたはトークン置換）、プーリング操作（例：開始位置プーリングまたは平均プーリング）、およびエンティティ表現とコンテキスト表現の間の相互作用を含む特徴量の組み合わせを含む包括的な探索空間を定義する。
• 強化学習に基づく探索エージェントが候補となるアーキテクチャを生成し、検証性能に基づいた報酬を受け取り、ポリシー勾配法を用いてそのポリシーを更新する。
• 子モデル間でパラメータ共有を実施し、共有されたBERT、プーリング、分類層の重みで初期化することで、学習と探索の高速化を図る。
• 過学習を防ぎ、報酬信号の信頼性を向上させるために、探索中に複数のBERTエンコーダーのコピーを維持する。
• 探索プロセスは検証セット上で実施され、最良の性能を示したアーキテクチャは、ハイパーパramータチューニングを伴ってテストセットでファインチューニングされる。
• トランスファーラーニングは、あるタスクで学習したアーキテクチャを他のタスクに適用することで評価され、クロスドメイン一般化性能が測定される。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークアーキテクチャ探索（NAS）は、手動設計されたベースラインと比較して、より優れたBERTベースの関係分類アーキテクチャを効果的に発見できるか？
• RQ2 エンティティスパン同定、プーリング戦略、特徴量相互作用といった異なるアーキテクチャ的選択は、RC性能にどのように影響するか？
• RQ3 探索中に複数のBERTエンコーダーのコピーを維持することで、発見されたアーキテクチャの品質がどの程度向上するか？
• RQ4 学習済みのアーキテクチャは、異なるドメインやタスク間でどの程度転送可能か？
• RQ5 探索空間のどの要素が性能向上に最も寄与しているか？

主な発見

• AutoRCは、7つのベンチマーク関係分類タスクすべてで標準的なBERTベースのRCモデルを上回り、一貫した顕著な改善を示した。
• 学習済みのアーキテクチャはタスクごとに顕著に異なる—例として、i2b2ではエンティティマーカーとエンティティ・コンテキスト相互作用が使用され、deft2020ではエンティティトークン置換と[CLS]プーリングが使用されている—これは強いタスク固有性を示している。
• アブレーションスタディの結果、特にi2b2のような複雑なタスクでは、特徴量相互作用と多様なプーリング操作が性能に不可欠であることが判明した。
• 探索中に複数のBERTエンコーダーのコピーを維持することで、より良い一般化性能と高い性能が達成され、過学習の低減に寄与することが確認された。
• トランスファーラーニングの結果、オープンドメインタスク（例：kbp37）で学習したモデルは医療ドメインタスク（例：i2b2, ddi）にうまく一般化しないが、同様のドメイン同士（例：i2b2とddi）では良好に転送されることが判明し、ドメイン依存性が顕著に現れた。
• 探索空間設計の有効性が検証された：特徴量相互作用やプーリングの多様性を削除すると、顕著な性能低下が生じ、包括的なアーキテクチャ探索の重要性が確認された。