[論文レビュー] FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework

Guozheng Li, Xu Chen+3 more|arXiv (Cornell University)|May 5, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

FastREは、拡張畳み込み、ゲートユニット、残差接続を組み合わせた新しい畳み込みエンコーダーと、タイプ-関係マッピングおよび位置依存の適応的しきい値設定を特徴とする改善された段階的バイナリタギングフレームワークを用いた、高速で効率的な関係抽出モデルを提案する。SOTAモデルと比較して、3–10倍の高速な学習、7–15倍の高速な推論、100分の1のパラメータ数を達成しながら、ベンチマークデータセット上で競争力ある性能を維持する。

ABSTRACT

Recent work for extracting relations from texts has achieved excellent performance. However, most existing methods pay less attention to the efficiency, making it still challenging to quickly extract relations from massive or streaming text data in realistic scenarios. The main efficiency bottleneck is that these methods use a Transformer-based pre-trained language model for encoding, which heavily affects the training speed and inference speed. To address this issue, we propose a fast relation extraction model (FastRE) based on convolutional encoder and improved cascade binary tagging framework. Compared to previous work, FastRE employs several innovations to improve efficiency while also keeping promising performance. Concretely, FastRE adopts a novel convolutional encoder architecture combined with dilated convolution, gated unit and residual connection, which significantly reduces the computation cost of training and inference, while maintaining the satisfactory performance. Moreover, to improve the cascade binary tagging framework, FastRE first introduces a type-relation mapping mechanism to accelerate tagging efficiency and alleviate relation redundancy, and then utilizes a position-dependent adaptive thresholding strategy to obtain higher tagging accuracy and better model generalization. Experimental results demonstrate that FastRE is well balanced between efficiency and performance, and achieves 3-10x training speed, 7-15x inference speed faster, and 1/100 parameters compared to the state-of-the-art models, while the performance is still competitive.

研究の動機と目的

• 計算コストの高いTransformerベースの事前学習言語モデルに依存する既存の関係抽出モデルの非効率性を解消すること。
• 特に大規模またはストリーミングテキストデータに対して、性能を損なわずに学習および推論時間を短縮すること。
• タイプ-関係マッピングおよび適応的しきい値設定を用いて、段階的バイナリタギングフレームワークの改善を通し、関係の重複を低減し、一般化性能を向上させること。
• 金融およびニュースデータ処理などの実世界の応用において、モデルの効率性と性能のより良いバランスを実現すること。

提案手法

• 受容 field を指数関数的に拡大できる拡張畳み込みを用いた、新しい畳み込みエンコーダーを設計し、少ない層数で長距離依存関係のモデル化を可能にする。
• 層間の情報フローを制御するためのゲートユニットを組み込み、深層ネットワークにおける消失勾配を軽減するための残差接続を統合する。
• 頭部エンティティタイプと事前に定義された関係を関連付けるタイプ-関係マッピング機構を導入し、不要な関係予測を削減し、タギングの高速化を実現する。
• 文の位置に応じた適応的しきい値設定戦略を適用し、ランクベースの損失関数を用いて、各文の位置ごとに動的しきい値を学習させ、精度と一般化性能を向上させる。
• CasRelにおけるBERTエンコーダーを、提案された畳み込みエンコーダーに置き換えることで、効率性と性能のトレードオフを評価する。
• 各位置ごとに学習可能なしきい値設定機構を用いたシグモイド活性化関数を採用し、学習中に正例と負例の寄与をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 軽量な畳み込みエンコーダーが、競争力ある性能を維持しながら、Transformerベースのエンコーダーに置き換え可能か。
• RQ2 拡張畳み込みにゲートユニットと残差接続を組み合わせることで、関係抽出における効率性と表現力がどのように向上するか。
• RQ3 タイプ-関係マッピングが、段階的バイナリタギングにおける関係の重複をどの程度低減し、推論をどの程度高速化できるか。
• RQ4 グローバルしきい値設定と比較して、位置依存の適応的しきい値設定が、バイナリタギングにおける一般化性能とF1スコアをどのように向上させるか。
• RQ5 NYT11のようなバイアスのないベンチマークにおいて、FastREはBERTベースのモデルと比較して、速度、パラメータ効率、一般化性能の観点でどの程度の性能を示すか。

主な発見

• FastREは、SOTAモデルと比較して3–10倍の高速な学習速度と7–15倍の高速な推論速度を達成し、著しく効率性が向上した。
• モデルはSOTAモデルの100分の1のパラメータ数しか使用せず、極めてパラメータ効率が良い。
• NYT10およびNYT11において、それぞれ73.8および56.3の競争力あるF1スコアを達成し、ReReと同等またはわずかに劣るが、推論速度は20倍速い。
• 適応的しきい値設定の導入により、グローバルしきい値設定と比較してテストF1スコアが約1%向上し、一般化性能の向上が示された。
• NYT11のようなバイアスのないデータセットではより良い一般化性能を示した一方で、NYT24では1.8–3.3%の性能低下を示し、記憶効果の低減が確認された。
• 勾配解析により、モデルがエンティティの境界および関係述語に注目していることが確認され、意味のある注目パターンと解釈可能性を示した。