[論文レビュー] Zero-Shot and Few-Shot Classification of Biomedical Articles in Context of the COVID-19 Pandemic

Simon Lupart, Benoît Favre+2 more|arXiv (Cornell University)|Jan 9, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、MeSH階層をseq2seqタスクを通じてTree Numberを予測するように組み込むことで、BioBERT表現のゼロショットおよびフェイントショット分類を向上させるマルチタスク学習フレームワークを提案する。この手法は構造的プローブ性能を向上させ、特に階層的関係を捉える上でMeSH用語のより良い意味的整合性を実現するが、分類F1スコアの向上はデータセットごとに一貫しない。

ABSTRACT

MeSH (Medical Subject Headings) is a large thesaurus created by the National Library of Medicine and used for fine-grained indexing of publications in the biomedical domain. In the context of the COVID-19 pandemic, MeSH descriptors have emerged in relation to articles published on the corresponding topic. Zero-shot classification is an adequate response for timely labeling of the stream of papers with MeSH categories. In this work, we hypothesise that rich semantic information available in MeSH has potential to improve BioBERT representations and make them more suitable for zero-shot/few-shot tasks. We frame the problem as determining if MeSH term definitions, concatenated with paper abstracts are valid instances or not, and leverage multi-task learning to induce the MeSH hierarchy in the representations thanks to a seq2seq task. Results establish a baseline on the MedLine and LitCovid datasets, and probing shows that the resulting representations convey the hierarchical relations present in MeSH.

研究の動機と目的

• パンデミック期における、多くのMeSHカテゴリでラベル付きデータが乏しい状況下での、医療関連論文のゼロショットおよびフェイントショット分類の課題に対処すること。
• MeSH記述子の階層的意味的特徴（Tree Numberや親子関係を含む）を活用することで、BioBERTの意味的表現を向上させること。
• 文書分類とMeSH階層予測を同時に学習するマルチタスク学習フレームワークを構築し、ゼロショット一般化性能を向上させること。
• モデル表現にMeSH階層を組み込むことで、ゼロショットおよびフェイントショット分類タスクの性能が向上するかどうかを検証すること。
• 医療NLPアプリケーションにとって不可欠な、より説明可能で意味的に構造化された表現空間を提供すること。

提案手法

• MedLineおよびLitCovidデータセットのバランスの取れたサブセットを、オープンボキャブラリー設定で微調整し、入力は論文の要約とMeSH用語の連結として扱う。
• ゼロショット分類を二値マッチングタスクとして定式化：与えられたMeSH用語が論文要約に関連しているかどうかを予測する。
• 別個のデコーダーヘッドを導入し、MeSH用語のTree Numberを予測するseq2seqタスクを追加することで、表現に階層的構造を組み込むマルチタスク学習の目的関数を定義する。
• 分類タスクと階層予測タスクの両方のための統合文脈として、BioBERTのCLSトークン表現を使用する。
• 2つの損失成分を用いて学習：分類用に交差エントロピー、Tree Numberシーケンス生成用に交差エントロピーを用い、バランスの取れた重み付けを行う。
• 2つの構造的プロービングタスクを用いて構造的プロービングを実施：共通祖先プローブ（k個の共通祖先のF1スコアを測定）と最短経路プローブ（MeSH階層グラフ内での平均距離誤差を測定）。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習によるMeSH階層の統合によって、医療関連論文のゼロショットおよびフェイントショット分類性能が向上するか？
• RQ2 構造的プロービングによって測定した場合、モデルはMeSH記述子間の階層的関係をどの程度正しく学習・保持しているか？
• RQ3 Tree Number予測のseq2seqタスクを導入することで、表現空間内でのMeSH用語の意味的整合性が向上するか？
• RQ4 分類およびプロービングタスクの両方において、ヴァニラ版BioBERTと比較して、モデルの性能と表現品質はどのように異なるか？
• RQ5 大規模ボキャブラリーのゼロショット設定にスケーリングする際、現在のオープン入力アプローチの限界は何か？

主な発見

• マルチタスク学習（MTL）モデルは、構造的プロービングタスクで1.323の平均最短経路距離誤差を達成し、ヴァニラ版BioBERT（1.494）およびランダムベースライン（2.597）を著しく上回り、階層的構造のより良い保存を示している。
• MTLモデルは共通祖先プローブでF1スコア0.933（k=1）、0.659（k=2）、0.576（k=3）を達成し、ヴァニラ版BioBERT（0.855、0.521、0.538）を上回り、共通祖先を識別する能力が向上していることが示された。
• 構造的プロービング性能の向上にもかかわらず、MTLモデルはゼロショットおよびフェイントショット分類タスクでF1スコアを一貫して向上させず、下流分類タスクへの伝達が限定的であることが示された。
• ヴァニラ版BioBERTも、構造的プロービングタスクのベースライン性能から、事前学習段階で医療テキストを学習することで、ある程度の階層的知識を暗黙的に組み込んでいることが示唆された。
• MTLフレームワークの学習ダイナミクスは最適ではなかった。分類損失はTree Number予測損失よりも早く収束しており、階層的ヘッドの全潜在的利点を活かせていない。
• 本研究は、マルチタスク学習における最適化戦略の改善の必要性を浮き彫りにした。また、大規模ボキャブラリーのゼロショット設定にスケーリングするには、検索ベースのフィルタリング（例：ColBERT や BM25）とオープン入力分類を組み合わせることを提案する。