[論文レビュー] Exemplar Auditing for Multi-Label Biomedical Text Classification

Allen Schmaltz, Andrew L. Beam|arXiv (Cornell University)|Apr 7, 2020

Text and Document Classification Technologies参考文献 16被引用数 7

ひとこと要約

本稿では、畳み込み分解（BLADE）を多ラベル設定に拡張することで、解釈可能なマルチラベル生物医学テキスト分類のためのExemplar Auditingという手法を提案する。テスト時の予測を真陽性、偽陰性、偽陽性、真陰性の代表例との正規化距離を通じて最も近い訓練例に結びつけることで、モデルの自己分析を可能にし、MIMIC-III EHRデータ上で競争力のある分類性能を損なわずに臨床的解釈性を向上させる。

ABSTRACT

Many practical applications of AI in medicine consist of semi-supervised discovery: The investigator aims to identify features of interest at a resolution more fine-grained than that of the available human labels. This is often the scenario faced in healthcare applications as coarse, high-level labels (e.g., billing codes) are often the only sources that are readily available. These challenges are compounded for modalities such as text, where the feature space is very high-dimensional, and often contains considerable amounts of noise. In this work, we generalize a recently proposed zero-shot sequence labeling method, "binary labeling via a convolutional decomposition", to the case where the available document-level human labels are themselves relatively high-dimensional. The approach yields classification with "introspection", relating the fine-grained features of an inference-time prediction to their nearest neighbors from the training set, under the model. The approach is effective, yet parsimonious, as demonstrated on a well-studied MIMIC-III multi-label classification task of electronic health record data, and is useful as a tool for organizing the analysis of neural model predictions and high-dimensional datasets. Our proposed approach yields both a competitively effective classification model and an interrogation mechanism to aid healthcare workers in understanding the salient features that drive the model's predictions.

研究の動機と目的

• 高次元的でノイズの多い生物医学的テキストデータにおいて、微細なラベルが入手できない状況でブラックボックス型ニューラルモデルの解釈を困難とする課題に対処すること。
• 電子歴史記録向けに、二値ゼロショットシーケンスラベリング手法BLADEをマルチラベル分類に拡張すること。
• 代表的な訓練例との相対的距離を用いて、人間が解釈可能なメカニズムでモデルの予測を監査する仕組みを開発すること。
• 局所化された特徴と距離ベースの正規化を用いて、臨床医や研究者に直感的で特徴レベルの洞察を提供すること。
• 高リスクの医療データセットにおけるパターンの検出とラベルの不一致の検出を可能にする。

提案手法

• 文書レベルの予測をトークンレベルの特徴スコアにマッピングするため、畳み込み分解を用いてBLADEフレームワークをマルチラベル分類に拡張する。
• 局所的でスパースな注意を促進するためのスパarsity誘導損失を用い、顕著なトークンへの集中を可能にする。
• 訓練済みの畳み込みニューラルネットワーク（CNN）を展開し、各ラベルクラスの代表ベクトルを抽出し、最も近い訓練インスタンスからエクジンプラを形成する。
• テストインスタンスの特徴から、真陽性（TP）、偽陰性（FN）、偽陽性（FP）、真陰性（TN）の各タイプの最近傍エクジンプラまでの正規化距離を計算する。
• これらの正規化距離のソフトマックス分布を、各ラベル予測の信頼性信号として用いる。
• 局所的（トークンレベル）およびグローバル（文書レベル）の損失信号を統合的な訓練目的関数に統合し、精度と解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 解釈性を保持したまま、畳み込み分解を二値分類からマルチラベル生物医学テキスト分類に効果的に拡張できるか？
• RQ2 代表的な訓練例（TP、FN、FP、TN）との相対的距離は、ラベルおよびインスタンスレベルでのモデル予測の信頼性をどのように示すか？
• RQ3 エクジンプラ監査は、アテンションメカニズムや係数ベース手法よりも、より直感的かつ臨床的行動可能なニューラルモデル予測の解釈を提供できるか？
• RQ4 提案手法は、高次元的でノイズの多いEHRデータにおいて、解釈可能性を提供しつつも、競争力のある分類性能を維持できるか？
• RQ5 このアプローチは、距離ベースの分析を通じて、訓練データにおけるラベルの不一致や異常を検出できるか？

主な発見

• 提案されたExemplar Auditing手法は、MIMIC-IIIマルチラベルEHR分類ベンチマークで競争力のある分類性能を達成した。
• 最近傍エクジンプラ（TP、FN、FP、TN）までの正規化距離は、インスタンスおよびラベルレベルでの予測信頼性を評価するための有用で直感的な信号を提供した。
• テスト時の予測を特定の代表的な訓練例に結びつけることで、臨床医にとっての解釈性を高めるモデルの自己分析を可能にした。
• エクジンプラ監査は、アテンションベース手法よりも局所的で特徴に特化した説明を提供し、臨床意思決定における人間の推論とより整合性が高かった。
• このアプローチは、予測を駆動する顕著な特徴を効果的に同定でき、既知の訓練データに対するモデル挙動の検証を可能にした。
• 微細なラベルが明示的に存在しない状況でも有効であるため、このようなラベルが希少な現実世界の医療NLPに適している。