[論文レビュー] An attention-based Bi-GRU-CapsNet model for hypernymy detection between compound entities

Qi Wang, Chenming Xu+4 more|arXiv (Cornell University)|May 13, 2018

Natural Language Processing Techniques参考文献 27被引用数 8

ひとこと要約

本稿では、語彙外語（OOV）問題を緩和するための双方向ゲート付き再帰ユニット（Bi-GRUs）、差異を強調するための注目メカニズム、およびハイパノニム関係を分類するためのキャプセルネットワークを統合した注目ベースのBi-GRU-CapsNetモデルを提案する。このモデルは、医療症状や疾患などの複合エンティティ間のハイパノニム関係検出に適用され、英語コーパスで90.35、中国語コーパスで95.26の最先端のF1スコアを達成し、既存手法を上回る性能を示した。

ABSTRACT

Named entities are usually composable and extensible. Typical examples are names of symptoms and diseases in medical areas. To distinguish these entities from general entities, we name them extit{compound entities}. In this paper, we present an attention-based Bi-GRU-CapsNet model to detect hypernymy relationship between compound entities. Our model consists of several important components. To avoid the out-of-vocabulary problem, English words or Chinese characters in compound entities are fed into the bidirectional gated recurrent units. An attention mechanism is designed to focus on the differences between the two compound entities. Since there are some different cases in hypernymy relationship between compound entities, capsule network is finally employed to decide whether the hypernymy relationship exists or not. Experimental results demonstrate

研究の動機と目的

• 電子カルテに一般的に見られる複合エンティティ（例：複数語の医療症状や疾患）間のハイパノニム関係検出の課題に対処すること。
• 双方向GRUを用いてサブワード単位をモデル化することで、従来手法の語彙外語（OOV）問題を克服すること。
• カスタマイズされた注目メカニズムにより、複合エンティティ間のハイパノニム関係の微細な差異を捉えること。
• エンティティの構成要素間の階層的関係をモデル化するキャプセルネットワークを採用することで、分類の頑健性を向上させること。
• ハイパノニム関係検出のための英語および中国語の新しいコーパス2つを構築し、評価すること。

提案手法

• 双方向ゲート付き再帰ユニット（Bi-GRUs）は、複合エンティティ内の個々の英単語または中国語の漢字を処理し、文脈を反映する表現を生成し、OOV問題を軽減する。
• 注目メカニズムは、2つの複合エンティティ間の差異に基づいて動的重みを計算し、共通部分ではなく差異を示す部分に注目する。
• 注目メカニズムは学習可能なパラメータ $ a $ と $ b $ を用い、$ \alpha_i^{(k)} = a w_i^{(k)} + b $ で定義される。ソフトマックスを用いないことで、元の注目スコアを保持する。
• キャプセルネットワークは注目された表現を処理し、階層的関係をモデル化し、ハイパノニム関係が存在するかどうかの最終的判断を出力する。
• モデルはエンティティペア全体をエンドツーエンドで学習し、外部の文脈や事前学習済み言語モデルに依存しない。
• 語彙外語対処法および性能の比較のため、単語埋め込みの和を用いたバリエーションをベースラインとして評価した。

実験結果

リサーチクエスチョン

• RQ1 注目ベースのBi-GRU-CapsNetモデルは、語彙外語（OOV）に苦しむ医療テキストにおける複合エンティティ間のハイパノニム関係検出を、効果的に行えるか？
• RQ2 差異に注目する本稿の注目メカニズムは、均一な注目または注目なしの手法と比較して、検出性能をどのように向上させるか？
• RQ3 キャプセルネットワークの統合により、複合エンティティ内の階層的および構成的関係を捉える能力が向上するか？
• RQ4 モデルは英語および中国語の医療コーパスでどのように性能を発揮するか？また、言語を越えて一般化可能か？
• RQ5 サブワードモデリング、注目メカニズム、キャプセルネットワークの各要素が、全体の性能向上に果たす相対的寄与度はどの程度か？

主な発見

• 提案モデルは英語コーパスでF1スコア90.35、中国語コーパスで95.26を達成し、6つのベースライン手法をすべて上回った。
• ソフトマックスを用いない不均等な注目（$ a=1, b=0 $）が最良の性能を示し、差異への直接的な注目が最も効果的であることが示された。
• 語彙外語対処法および性能の両面で、語彙外語対処法を用いたベースライン手法（単語埋め込みの和）を大きく上回り、両言語でF1スコアが89%を超えた。
• 中国語コーパスにおける語彙外語対処法の特徴ベクトル法（単語埋め込みの和）のリ콜は94.78%と、提案モデルの94.44%をわずかに上回ったが、提案モデルはF1および精度で優れていた。
• エンティティ間の異なる部分に注目する注目メカニズムは、既知の構成要素を含む未学習ペアに対しても一般化性能を向上させる。
• アブレーションスタディにおいて、階層的関係をモデル化することで分類性能が向上し、キャプセルネットワーク部は単純な分類器を上回った。