[論文レビュー] Neural Contract Element Extraction Revisited

Ilias Chalkidis, Manos Fergadiotis+2 more|arXiv (Cornell University)|Sep 14, 2019

Topic Modeling被引用数 9

ひとこと要約

本研究は、契約要素抽出のためのニューラルアプローチを再検討し、LSTMベースのエンコーダーがこの文脈において、拡張畳み込みニューラルネットワーク（dilated CNNs）、Transformer、BERTを上回ることを示している。さらに、ドメイン特化型Word2Vec埋め込み表現は、一般的なGloVe埋め込み表現を上回ることを示しており、品詞タグ、トークン形状、ELMo埋め込み表現は性能向上に寄与しないことが判明し、シーケンスラベリング分野における従来の仮定に疑問を呈している。これは、契約要素抽出においてタスク特化型設計の重要性を強調している。

ABSTRACT

We investigate contract element extraction. We show that LSTM-based encoders perform better than dilated CNNs, Transformers, and BERT in this task. We also find that domain-specific WORD2VEC embeddings outperform generic pre-trained GLOVE embeddings. Morpho-syntactic features in the form of POS tag and token shape embeddings, as well as context-aware ELMO embeddings do not improve performance. Several of these observations contradict choices or findings of previous work on contract element extraction and generic sequence labeling tasks, indicating that contract element extraction requires careful task-specific choices. Analyzing the results of (i) plain TRANSFORMER-based and (ii) BERT-based models, we find that in the examined task, where the entities are highly context-sensitive, the lack of recurrency in TRANSFORMERs greatly affects their performance.

研究の動機と目的

• 最近のシーケンスモデリング分野の進展を踏まえ、契約要素抽出のためのニューラルアーキテクチャを再評価すること。
• 特にドメイン特化型Word2Vecと一般的なGloVeの違いが性能に与える影響を評価すること。
• 形態論的・構文論的特徴（品詞タグ、トークン形状）および文脈的埋め込み（ELMo）が抽出精度を向上させるかどうかを調査すること。
• Transformerベースのモデルが他のNLPタスクでは成功を収めているにもかかわらず、なぜこの文脈では性能を発揮しないのかを理解すること。
• 非常に文脈に依存する契約要素抽出において、実際に有益であるアーキテクチャ的および埋め込み的選択を同定すること。

提案手法

• 契約要素抽出のための主なシーケンスモデリングアーキテクチャとして、LSTMベースのエンコーダーを採用した。
• 法的用語や構造を捉えるために、契約固有のテキストコーパス上でドメイン特化型Word2Vec埋め込み表現を学習した。
• 同じデータセットと評価プロトコルを用いて、拡張畳み込みニューラルネットワーク（dilated CNNs）、Transformer、BERTと性能を比較した。
• 貢献度を評価するために、品詞タグ、トークン形状、ELMo埋め込み表現を追加特徴として組み込んだ。
• 各コンポonentのモデル性能に与える影響を隔離するためのアブレーションスタディを実施した。
• 性能差の理由を説明するために、TransformerおよびBERTベースのモデルにおけるアテンションパターンとシーケンスモデリング行動を分析した。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのモデルは、Transformer や BERT といったアテンションベースのモデルよりも、契約要素抽出において優れた性能を発揮するか？
• RQ2 ドメイン特化型Word2Vec埋め込み表現を学習させることで、一般的な事前学習済みGloVe埋め込み表現よりも性能が向上するか？
• RQ3 品詞タグやトークン形状といった形態論的・構文論的特徴は、契約テキストにおける抽出精度を向上させるか？
• RQ4 ELMoのような文脈的埋め込み表現は、この特定のタスクにおいて性能向上をもたらすか？
• RQ5 Transformerベースのモデルが他のNLPタスクでは成功を収めているにもかかわらず、なぜこの文脈では性能を発揮しないのか？

主な発見

• LSTMベースのエンコーダーは、拡張畳み込みニューラルネットワーク（dilated CNNs）、Transformer、BERTを著しく上回る性能を示しており、このタスクにおいて再帰性が有益であることが示された。
• ドメイン特化型Word2Vec埋め込み表現は、一般的なGloVe埋め込み表現を上回る性能を達成しており、法的ドメインへの適応が表現学習を改善することを示唆している。
• 品詞タグやトークン形状埋め込み表現といった形態論的・構文論的特徴は、モデル性能を向上させないことが判明し、一般的なシーケンスラベリングタスクにおける先行研究とは矛盾する。
• 文脈的埋め込み表現（ELMo）についても、性能向上に寄与しないことが判明し、この特定の文脈では限定的な有用性を示している。
• Transformerにおける再帰性の欠如が、非常に文脈に依存する契約要素抽出において性能を劣化させていることが判明し、他の設定では優れた一般化性能を示すにもかかわらず、この文脈ではその性能を発揮できない理由が説明された。