[論文レビュー] Generating Continuous Representations of Medical Texts

Graham Spinks, Marie‐Francine Moens|Lirias (KU Leuven)|May 15, 2018

Topic Modeling参考文献 6被引用数 3

ひとこと要約

本稿では、連続的表現からリアルな医療テキストキャプションを生成するための条件付き対抗的正則化オートエンコーダー（ARAE）を提案する。従来のLSTMに比べて向上し、一貫性があり意味的に情報豊かな連続的埋め込みを学習しながら、高品質で文法的に正確なレポートを生成する。125.4のパープレキシティを達成し、LSTMベースライン（150.0）および非条件付きARAE（148.4）を著しく上回る。

ABSTRACT

We present an architecture that generates medical texts while learning an informative, continuous representation with discriminative features. During training the input to the system is a dataset of captions for medical X-Rays. The acquired continuous representations are of particular interest for use in many machine learning techniques where the discrete and high-dimensional nature of textual input is an obstacle. We use an Adversarially Regularized Autoencoder to create realistic text in both an unconditional and conditional setting. We show that this technique is applicable to medical texts which often contain syntactic and domain-specific shorthands. A quantitative evaluation shows that we achieve a lower model perplexity than a traditional LSTM generator.

研究の動機と目的

• 医療テキストから連続的かつ分離可能な表現を学習し、リアルなレポートを生成する深層生成モデルを開発すること。
• 医療レポートに固有の用語と文法的不規則性を有する離散的テキストデータに対してGANを訓練する課題に対処するため、ARAEフレームワークを医療文に適応させること。
• MeSHラベルを用いた敵対的訓練と条件付き監視を組み合わせることで、標準LSTMに比べてテキスト生成品質を向上させること。
• ARAEから得られる連続的表現が、多様で医学的に妥当なキャプションを生成しつつ意味的整合性を保つことを示すこと。
• パープレキシティの定量的評価とユーザーが利用可能なデモインターフェースによる定性的評価を通じて、モデルの性能を評価すること。

提案手法

• エンコーダ・デコーダアーキテクチャを採用し、共有された潜在空間を有する。エンコーダは入力キャプションを連続的ベクトル表現にマッピングする。
• ジェネレータネットワークは、ランダムノイズベクトルから合成キャプションを生成し、条件付きバージョンではクラスラベル（例：'正常'、'心臓肥大'）を用いる。
• ディスクラミネータは、データセットからの本物のキャプションと生成されたキャプションを識別するように訓練され、本物および偽のサンプルがすべてラベルで条件付けられる。
• 訓練は、潜在空間の正則化を目的とした敵対的損失（安定性のためのエアス・モーバイル距離）とオートエンコーダ再構成損失を組み合わせて実施される。
• 条件付きARAEは、ジェネレータとディスクラミネータの両方にクラスラベルを組み込むことで、制御可能なテキスト生成を可能にする。
• モデルはインディアナ大学のチ胸X線キャプションデータセットを用いて学習され、語彙のフィルタリングとラベルの3つの診断カテゴリへのバイナリゼーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 敵対的正則化オートエンコーダーは、高い言語的品質を備えた医学的に妥当な連続的表現を、臨床的テキストに対して生成できるか？
• RQ2 診断ラベルでテキスト生成を条件づけることで、非条件生成と比較して生成キャプションの整合性と関連性が向上するか？
• RQ3 ARAEフレームワークは、医療キャプションタスクにおいて標準LSTM言語モデルよりもパープレキシティの観点で優れているか？
• RQ4 臨床レポートにおける診断カテゴリ間のクラス不均衡および重複する意味的コンテンツに対して、モデルはどの程度頑健か？
• RQ5 学習された連続的表現は、滑らかで微分可能な入力を必要とする下流のNLPタスクをどの程度支援できるか？

主な発見

• 条件付きARAEは125.4のパープレキシティを達成し、LSTMベースライン（150.0）および非条件ARAE（148.4）を著しく上回る。
• 生成キャプションは文法的正しさと医学用語の一貫性を示し、定性的な例では各診断クラスに対して妥当な臨床的記述が得られている。
• モデルは、希少疾患である心臓肥大のような状態に対しても、ラベルに応じた多様でリアルなレポートを生成する能力を効果的に学習しているが、データ不足のためわずかに性能が低下している。
• エアス・モーバイル距離損失を用いた敵対的訓練の設定により、テキストの離散的性質にもかかわらず、訓練が安定化し、効果的な分布学習が可能になった。
• デモインターフェースにより、モデルがラベルに応じた多様な出力を生成できること、およびディスクラミネータゲームを通じて本物と偽のキャプションを区別できることを確認した。
• 複数の損失関数と高いモデル複雑性による訓練不安定性にもかかわらず、モデルは十分に収束し、臨床的に妥当なテキストを生成できた。