[論文レビュー] Grounded Recurrent Neural Networks

Ankit Vani, Yacine Jernite+1 more|arXiv (Cornell University)|May 23, 2017

Topic Modeling参考文献 22被引用数 19

ひとこと要約

本稿では、多ラベルテキスト分類におけるデータ効率性と解釈可能性を向上させるために、各ラベルを隠れ状態の専用次元に明示的に関連付ける新しいRNNアーキテクチャ、Grounded Recurrent Neural Network (GRNN) を提案する。ラベルを特定の隠れユニットに固定し、再帰行列に準対角制約を適用することで、限られたデータでの医療テキスト分類タスクにおいて、GRU や BiGRU といった強力なベースラインを上回る最先端の性能を達成している。

ABSTRACT

In this work, we present the Grounded Recurrent Neural Network (GRNN), a recurrent neural network architecture for multi-label prediction which explicitly ties labels to specific dimensions of the recurrent hidden state (we call this process "grounding"). The approach is particularly well-suited for extracting large numbers of concepts from text. We apply the new model to address an important problem in healthcare of understanding what medical concepts are discussed in clinical text. Using a publicly available dataset derived from Intensive Care Units, we learn to label a patient's diagnoses and procedures from their discharge summary. Our evaluation shows a clear advantage to using our proposed architecture over a variety of strong baselines.

研究の動機と目的

• 臨床ノートからの大規模語彙の ICD9 コード予測に特化した、限られたラベル付きデータを有する医療分野における多ラベルテキスト分類の課題に対処すること。
• シーケンス処理中の個々の概念に関する信念の変化を追跡可能にすることで、医療NLPにおけるモデルの解釈可能性を向上させること。
• 再帰行列に構造的制約を課すことで、数千のラベルに対しても計算的に扱えるスケーラブルなRNNアーキテクチャの開発。
• 標準的なRNNとは異なり、隠れ状態にラベルを固定することで最適化と性能が向上することを示し、特にデータが少ない状況下で優位性を発揮すること。

提案手法

• GRNNアーキテクチャは、各ラベルごとに専用の隠れ状態次元を導入し、シーケンス処理の全過程でそのラベルの存在に関するモデルの信念を追跡する。
• 再帰遷移行列に準対角制約を適用し、左上ブロックを対角行列とする。これにより、ラベル数に比例してモデルサイズが線形に増加する。
• 入力トークンからの証拠統合を可能にする微分可能なゲーティング機構により、各ラベルの信念が更新される。これにより、モデルは概念がどこで言及されたかを学習できる。
• 文脈表現には標準的なRNNユニット（例：GRU や LSTM）を用い、ラベル固有の次元はアテンションまたはゲーティング機構に基づいて個別に更新される。
• 時間ステップごとのラベル固有隠れユニットの変化を可視化することで解釈性が向上し、臨床的に意味のある証拠（例："herniated disc" や "transfusions of ffp"）が明確に特定される。
• 多ラベル分類のためのクロスエントロピー損失を用いてエンドツーエンドで訓練され、過学習を防ぐためにL2正則化が適用される。

実験結果

リサーチクエスチョン

• RQ1 専用の隠れ状態次元にラベルを固定することで、医療テキストにおける多ラベル分類のデータ効率性が向上するか？
• RQ2 再帰行列に準対角制約を課すことにより、数千のラベルにスケーラブルでありながらもモデル性能が維持されるか？
• RQ3 各ラベルごとの信念の変化を追跡可能にすることで、標準的なRNNよりも解釈性の高い予測が可能になるか？
• RQ4 データが少ない状況下で、GRU や BiGRU、アテンションベースのモデルといった強力なベースラインと比較してGRNNの性能はどの程度か？
• RQ5 モデルは概念の相関関係を効果的に学習し、退院要約における微細な臨床的兆候を検出できるか？

主な発見

• MIMIC-II データセットでは、GRNNがマイクロ-F1 0.560、マクロ-F1 0.179 を達成し、BiGRU ベースライン（0.554/0.189）および GRU（0.554/0.189）を両指標で上回った。
• GRNNはマイクロ-AUC(ROC) 0.989、マクロ-AUC(ROC) 0.973 を達成し、マクロ-AUCでBiGRU ベースライン（0.991/0.976）を上回り、マイクロ-AUCでは同等の性能を示した。
• 4000ラベルを有する StackOverflow データセットでは、GRNNがマイクロ-F1 0.560、マクロ-F1 0.179 を達成し、マイクロ-F1でBiGRU ベースライン（0.554/0.189）を上回り、マクロ-F1では同等の性能を示した。
• モデルは優れた解釈性を示した。固定された次元における信念の変化は、「herniated disc」や「transfusions of ffp」などの臨床的に関連のあるフレーズを明確に強調していたが、アテンションベースのモデルはやや焦点がぼやけていた。
• 訓練データを削減した場合、GRNNは標準的なRNNよりも性能を維持することができ、データ効率性の向上が示された。
• 準対角制約により過学習が軽減され、最適化が改善され、大規模なラベルセットでも安定した学習が可能になった。