[論文レビュー] Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining

Jack Yutong Li, Ruoqing Zhu+3 more|arXiv (Cornell University)|May 7, 2018

Topic Modeling参考文献 49被引用数 5

ひとこと要約

本稿では、高次元でスパースかつノイジーなトリアージノートにおける解釈可能性と分類性能を向上させるために、基底行列における厳密な直交性を強制する半直交非負行列分解（SONMF）を提案する。非負のトピックベクトルを生成することで、SONMFは救急部門における患者の退院予測の精度を向上させるとともに、患者の症状や入院原因に関する臨床的に意味のある洞察を提供する。

ABSTRACT

Emergency Department (ED) crowding is a worldwide issue that affects the efficiency of hospital management and the quality of patient care. This occurs when the request for an admit ward-bed to receive a patient is delayed until an admission decision is made by a doctor. To reduce the overcrowding and waiting time of ED, we build a classifier to predict the disposition of patients using manually-typed nurse notes collected during triage, thereby allowing hospital staff to begin necessary preparation beforehand. However, these triage notes involve high dimensional, noisy, and also sparse text data which makes model fitting and interpretation difficult. To address this issue, we propose the semi-orthogonal non-negative matrix factorization (SONMF) for both continuous and binary design matrices to first bi-cluster the patients and words into a reduced number of topics. The subjects can then be interpreted as a non-subtractive linear combination of orthogonal basis topic vectors. These generated topic vectors provide the hospital with a direct understanding of the cause of admission. We show that by using a transformation of basis, the classification accuracy can be further increased compared to the conventional bag-of-words model and alternative matrix factorization approaches. Through simulated data experiments, we also demonstrate that the proposed method outperforms other non-negative matrix factorization (NMF) methods in terms of factorization accuracy, rate of convergence, and degree of orthogonality.

研究の動機と目的

• トリアージノートを用いて、救急科の混雑状況を緩和するための患者の退院予測を早期に実現すること。
• 手作業で入力された看護師ノートに見られる高次元性、スパarsity、ノイズの課題を克服すること。
• 医療分野のテキストデータ向けに、より解釈可能で数値的に安定した行列分解手法の開発。
• 潜在的トピック表現を用いて、患者の退院状態分類の精度を向上させること。
• トピックモデリングを通じて、入院原因に関する臨床的に意味のある洞察を提供すること。

提案手法

• 基底行列を直交させ、係数行列を非負にする半直交非負行列分解（SONMF）を提案し、行列を分解する。
• 従来の手法で見られる近似的な直交性を回避するため、直交因子行列への非負制約を緩和する。
• 連続的およびバイナリーのデータ構造の両方への適用を可能とし、多様なテキストマイニング応用に適応。
• 分類性能の向上を図るために、基底変換を導入し、従来のbag-of-words法および標準NMF手法を凌駆する。
• 基底ベクトルをトピック、係数を患者-トピック割り当てとして定義する非負行列分解フレームワークを採用。
• 数値的安定性を確保し、多重共線性を低減するために、直交性制約付きの交互非負最小二乗法による最適化を実装。

実験結果

リサーチクエスチョン

• RQ1 SONMFは、標準NMFおよびbag-of-wordsモデルと比較して、患者の退院状態分類の精度を向上させることができるか？
• RQ2 基底行列における厳密な直交性の強制は、トピックモデリングにおける解釈可能性の向上と多重共線性の低減に寄与するか？
• RQ3 SONMFは、スパースでノイジーなトリアージノートから臨床的に意味のあるトピックを効果的に抽出できるか？
• RQ4 既存のNMF変種と比較して、SONMFの収束速度および因子分解精度はどの程度か？
• RQ5 生成されたトピックベクトルは、病院が早期に主要な症状や入院原因を特定するのを支援できるか？

主な発見

• SONMFは、直交的で非負のトピックベクトルを活用することで、従来のbag-of-words法および標準NMF手法と比較して分類精度を顕著に向上させる。
• シミュレートされたデータ実験において、SONMFは既存のNMFアプローチと比較して、より高い因子分解精度と高速な収束速度を達成する。
• 基底行列における厳密な直交性は、多重共線性を低減し、数値的安定性を向上させ、信頼性の高い下流分類を支援する。
• トピック解釈は非常に解釈可能である。例えば、下肢損傷データセットではトピック1が床面からの軋んだ軋りを明確に特定しており、トピック3は自転車関連の膝損傷を捉えている。
• 脳卒中症状データセットでは、SONMFが「左」および「右」側症状を的確に区別し、「安定」および「不安定」を相反する概念として分離している。
• 本手法は重複のない、意味的に明確に分離されたトピックを生成し、負の重みを持つ語はしばしば鏡像的状態（例：左対右）を表しており、臨床的に異なる状態を区別できる能力を裏付けている。