[論文レビュー] Training Optimus Prime, M.D.: Generating Medical Certification Items by Fine-Tuning OpenAI's gpt2 Transformer Model

Matthias von Davier|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling被引用数 10

ひとこと要約

本論文は、PubMedのオープンアクセス医療テキストを用いてOpenAIのGPT-2トランスフォーマー・モデルをファインチューニングすることにより、高品質な医療資格試験問題の生成を提案する。このアプローチにより、一貫性がありドラフトとして使用可能なケース・ビニエットと、複数選択肢問題に適した効果的な誤り選択肢（ダミー選択肢）が生成され、トランスフォーマー基盤の言語モデルが、最小限の人的介入で医療教育分野における自動問題生成を顕著に支援できることを示している。

ABSTRACT

This article describes new results of an application using transformer-based language models to automated item generation (AIG), an area of ongoing interest in the domain of certification testing as well as in educational measurement and psychological testing. OpenAI's gpt2 pre-trained 345M parameter language model was retrained using the public domain text mining set of PubMed articles and subsequently used to generate item stems (case vignettes) as well as distractor proposals for multiple-choice items. This case study shows promise and produces draft text that can be used by human item writers as input for authoring. Future experiments with more recent transformer models (such as Grover, TransformerXL) using existing item pools are expected to improve results further and to facilitate the development of assessment materials.

研究の動機と目的

• トランスフォーマー基盤の言語モデルが、資格試験に適した医学的に関連性があり、一貫性のある問題を生成できるかどうかを調査すること。
• 従来のRNNベースのアプローチと比較して、ファインチューニングされたGPT-2モデルが生成するテキストの品質を評価すること。
• プロンプトベースのテキスト生成を用いて、複数選択肢問題における誤り選択肢（ダミー選択肢）を生成する可能性を検討すること。
• 事前学習済み言語モデルが、医療評価開発における人間の問題作成者を支援するツールとしての可能性を評価すること。
• ドメイン特化の医療コーパスにファインチューニングすることで、生成された医療教育コンテンツの関連性と構造が向上することを実証すること。

提案手法

• PubMedのオープンアクセス医療テキストコーパスをトレーニングデータとして用いて、OpenAIのGPT-2言語モデルをファインチューニングする。
• マルチGPUワークステーション上でTensorFlow-GPUツールキットを活用し、医療言語生成に向けたモデルの再トレーニングを実施する。
• プロンプトベースの生成を用いて、複数選択肢問題用の構造化されたケース・ビニエットと誤り選択肢オプションを生成する。
• 質的評価と人間が作成した問題との比較を通じて、生成されたテキストの品質を評価する。
• トランスフォーマー・アーキテクチャのアテンション機構を活用し、臨床的ナラティブにおける長距離依存関係をモデル化する。
• 一般用途の言語モデルを医療資格試験という専門分野に適応させるためのトランスファー・ラーニングの原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされたGPT-2モデルは、資格試験に適した医学的に一貫性があり、構造的に整合性のあるケース・ビニエットを生成できるか？
• RQ2 トランスフォーマー・モデルが生成するテキストの品質は、従来のRNNベースのアプローチと比較してどの程度高いか？
• RQ3 ファインチューニング済みモデルからのプロンプトベースの生成が、複数選択肢問題における効果的な誤り選択肢（ダミー選択肢）をどの程度生成できるか？
• RQ4 医療テキストに特化したファインチューニングにより、生成された評価問題の関連性と文法的正確性が向上するか？
• RQ5 このようなモデルが、高利害な医療資格試験の問題作成における人間の問題作成者を支援する可能性はどの程度か？

主な発見

• ファインチューニングされたGPT-2モデルは、オープンアクセスの問題にトレーニングされた従来の文字ベースRNNモデルと比較して、より高品質で一貫性のある医療テキストを生成した。
• プロンプトベースのテキスト生成により、資格試験の複数選択肢問題に適した妥当な誤り選択肢（ダミー選択肢）が効果的に生成された。
• 生成されたケース・ビニエットはしばしば文法的に正しく、臨床的に妥当であり、医療評価で一般的に使用される実際の患者症例に類似していた。
• モデルは、人間の問題作成者にとってのドラフトとして使用可能なテキストを生成する能力を示し、手作業による作成作業の負担を軽減した。
• PubMedのような医療コーパスでのファインチューニングにより、生成コンテンツのドメイン関連性と構造が顕著に向上した。
• 結果から、適切にファインチューニングされたトランスフォーマー基盤の言語モデルは、医療教育分野における自動問題生成の実用的ツールとして機能しうることが示唆された。