[論文レビュー] Probing Biomedical Embeddings from Language Models

Qiao Jin, Bhuwan Dhingra+2 more|arXiv (Cornell University)|Apr 3, 2019

Topic Modeling参考文献 25被引用数 29

ひとこと要約

この論文は、ドメイン固有の言語モデルから得られるバイオメディカルな文脈的単語埋め込みを調査し、固定特徴抽出器としてのBioELMoとBioBERTを比較している。微調整されたBioBERTは下流タスクでBioELMoを上回るが、プローブタスクでは、特に疾患-症状および疾患-薬物相互作用といったバイオメディカルな関係とエンティティタイプの表現が優れているため、BioELMoが固定特徴抽出器として優れている。可視化と最近傍分析を通じてその結果が示された。

ABSTRACT

Contextualized word embeddings derived from pre-trained language models (LMs) show significant improvements on downstream NLP tasks. Pre-training on domain-specific corpora, such as biomedical articles, further improves their performance. In this paper, we conduct probing experiments to determine what additional information is carried intrinsically by the in-domain trained contextualized embeddings. For this we use the pre-trained LMs as fixed feature extractors and restrict the downstream task models to not have additional sequence modeling layers. We compare BERT, ELMo, BioBERT and BioELMo, a biomedical version of ELMo trained on 10M PubMed abstracts. Surprisingly, while fine-tuned BioBERT is better than BioELMo in biomedical NER and NLI tasks, as a fixed feature extractor BioELMo outperforms BioBERT in our probing tasks. We use visualization and nearest neighbor analysis to show that better encoding of entity-type and relational information leads to this superiority.

研究の動機と目的

• ドメイン内コンテキスト付き埋め込み（例：BioELMo や BioBERT）に組み込まれた内在的情報を理解すること。
• 微調整を含まないプローブタスクにおいて、BioELMo と BioBERT が固定特徴抽出器としてどのように性能を発揮するかを比較すること。
• ドメイン固有の事前学習が、バイオメディカルなエンティティタイプや関係的知識の表現をどのように向上させるかを特定すること。
• BERT よりも複雑さが低いにもかかわらず、なぜ固定特徴抽出設定では BioELMo が BioBERT を上回るのかを解明すること。
• さまざまな埋め込みが、生物学的文書におけるタスク関連の言語的および関係的信号をどれほど効果的に捉えられるかを特徴づけること。

提案手法

• 1000万件のPubMedアブストラクトを用いて、双方向LSTMと学習可能な層重みを備えたELMoフレームワークでBioELMoを訓練する。
• 比較対象として、バイオメディカルテキストで事前学習されたBERTモデル（BioBERT）を、固定特徴抽出の観点から用いる。
• 2つのプローブタスクを設計：1つはバイオメディカルNER（スパンの同定と分類）を目的としたもの、もう1つは入力に埋め込みのみを用いたNLI（含意予測）を目的としたもの。
• 同じエンティティタイプや関係タイプの表現が埋め込み空間でどれほど密にクラスタリングされるかを評価するために最近傍分析を適用する。
• 注意メカニズムと表現クラスタの可視化を用いて、異なるモデルがエンティティタイプや関係的情報をどのように表現しているかを比較する。
• ホールドアウトされたMedNLIテストセットにおける部分集合正解率を用いてプローブ性能を検証し、最近傍クラスタリングとタスク精度との間の相関分析も行う。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内コンテキスト付き埋め込み（例：BioELMo や BioBERT）は、一般ドメインの対応するモデルに比べて、バイオメディカルなエンティティタイプをどれほど効果的に表現しているか？
• RQ2 BioELMo や BioBERT に内在的に組み込まれた、固定特徴抽出器としての性能に寄与する具体的な言語的または関係的情報とは何か？
• RQ3 微調整されたタスクで優れているにもかかわらず、なぜプローブタスクではBioELMoがBioBERTを上回るのか？
• RQ4 異なる埋め込みが、同じバイオメディカルな関係タイプ（例：疾患-症状、疾患-薬物）の表現を埋め込み空間でどれほど効果的にクラスタリングできるか？
• RQ5 アーキテクチャ（LSTMベースのELMo 対 トランスフォーマー ベースのBERT）が、バイオメディカルテキストにおける文脈的および関係的情報の表現にどのように影響を与えるか？

主な発見

• BioBERTの下流タスクでの優れた微調整性能とは対照的に、固定特徴抽出タスクではBioELMoがBioBERTを顕著に上回っている。
• 同じ関係タイプの埋め込みについて、BioELMoは57.5％の平均最近傍（NN）割合を達成したのに対し、BioBERTは47.1％であった。これは、関係的情報のクラスタリングがより優れていることを示している。
• MedNLIテストサブセットにおいて、BioELMoは73.9％の部分集合正解率を達成し、BioBERT（71.4％）およびBERT-tog（65.0％）を上回った。また、NNクラスタリングとタスク精度との間に相関係数r=0.52の強い相関が確認された。
• 可視化により、BioELMoは同じエンティティタイプ（例：エストロゲン受容体、小胞体）の表記をよりよくクラスタリングしているのに対し、BERTの表現はタイプをまたがって散らばっていることがわかった。
• LSTMの再帰的性質のおかげで、BioELMoはエンティティ名の周囲の括弧などの文脈的手がかりを、BERTよりも効果的に表現している。
• 疾患-症状関係（54.2％ 対 44.5％）および疾患-薬物関係（32.8％ 対 26.1％）の両方において、BioELMoはELMoおよびBioBERTを顕著に上回り、関係的表現の優位性が裏付けられた。