[논문 리뷰] Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining

Jack Yutong Li, Ruoqing Zhu외 3명|arXiv (Cornell University)|2018. 05. 07.

Topic Modeling참고 문헌 49인용 수 5

한 줄 요약

이 논문은 고차원적이고 흐린, 노이즈가 많은 삼각 측정 기록에 대해 해석 가능성과 분류 성능을 향상시키기 위해 기저 행렬에서 엄격한 직교성을 강제하는 새로운 행렬 분해 방법인 준직교 비음성 행렬 분해(SONMF)를 제안한다. 비음성 주제 벡터를 생성함으로써 SONMF는 응급실에서 환자의 퇴원 방침 예측 정확도를 향상시키며, 환자의 증상과 입원 원인에 대한 임상적으로 의미 있는 통찰을 제공한다.

ABSTRACT

Emergency Department (ED) crowding is a worldwide issue that affects the efficiency of hospital management and the quality of patient care. This occurs when the request for an admit ward-bed to receive a patient is delayed until an admission decision is made by a doctor. To reduce the overcrowding and waiting time of ED, we build a classifier to predict the disposition of patients using manually-typed nurse notes collected during triage, thereby allowing hospital staff to begin necessary preparation beforehand. However, these triage notes involve high dimensional, noisy, and also sparse text data which makes model fitting and interpretation difficult. To address this issue, we propose the semi-orthogonal non-negative matrix factorization (SONMF) for both continuous and binary design matrices to first bi-cluster the patients and words into a reduced number of topics. The subjects can then be interpreted as a non-subtractive linear combination of orthogonal basis topic vectors. These generated topic vectors provide the hospital with a direct understanding of the cause of admission. We show that by using a transformation of basis, the classification accuracy can be further increased compared to the conventional bag-of-words model and alternative matrix factorization approaches. Through simulated data experiments, we also demonstrate that the proposed method outperforms other non-negative matrix factorization (NMF) methods in terms of factorization accuracy, rate of convergence, and degree of orthogonality.

연구 동기 및 목표

• 삼각 측정 기록을 활용해 응급실 혼잡을 완화하기 위해 환자의 퇴원 방침을 조기에 예측하고자 한다.
• 수동으로 입력된 간호사 기록에서 고차원성, 희박성, 노이즈 문제를 해결하고자 한다.
• 의료 분야의 텍스트 데이터를 위한 더 해석 가능하고 수치적으로 안정적인 행렬 분해 방법을 개발하고자 한다.
• 잠재 주제 표현을 활용해 환자의 퇰너 방침 분류 정확도를 향상시키고자 한다.
• 주제 모델링을 통해 입원 원인에 대한 임상적으로 의미 있는 통찰을 제공하고자 한다.

제안 방법

• 기저 행렬이 직교적이며 계수 행렬이 비음성인 방식으로 행렬을 분해하는 준직교 비음성 행렬 분해(SONMF)를 제안한다.
• 기존 방법에서의 근사 직교성 문제를 피하기 위해 직교 요소 행렬에 대한 비음성 제약 조건을 완화하여 엄격한 직교성을 달성한다.
• 연속형 및 이진 데이터 구조 모두에 SONMF를 적용하여 다양한 텍스트 마이닝 응용에 활용 가능하게 한다.
• 기저 전환을 통해 기존의 백오브워즈 및 표준 NMF 방법보다 분류 성능을 향상시킨다.
• 기저 벡터가 주제를, 계수들이 환자-주제 할당을 나타내는 비음성 행렬 분해 프레임워크를 구현한다.
• 수치적 안정성과 다중공선성 감소를 보장하기 위해 직교성 제약 조건을 포함한 교차 비음성 최소제곱 최적화를 구현한다.

실험 결과

연구 질문

• RQ1 기존의 표준 NMF 및 백오브워즈 모델과 비교해 SONMF가 환자의 퇴원 방침 예측 정확도를 향상시킬 수 있는가?
• RQ2 기저 행렬에 엄격한 직교성을 적용함으로써 주제 모델링에서 더 나은 해석 가능성과 다중공선성 감소를 달성할 수 있는가?
• RQ3 SONMF는 희박하고 노이즈가 많은 삼각 측정 기록에서 임상적으로 의미 있는 주제를 효과적으로 추출할 수 있는가?
• RQ4 기존의 NMF 변종과 비교해 SONMF는 수렴 속도와 분해 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 생성된 주제 벡터가 병원에서 조기에 핵심 증상과 입원 원인을 식별하는 데 도움이 될 수 있는가?

주요 결과

• SONMF는 직교적이고 비음성 주제 벡터를 활용해 기존의 백오브워즈 및 표준 NMF 방법보다 분류 정확도를 크게 향상시킨다.
• 모의 데이터 실험에서 기존의 NMF 접근 방식과 비교해 더 높은 분해 정확도와 더 빠른 수렴 속도를 달성한다.
• 기저 행렬에서의 엄격한 직교성은 다중공선성을 감소시키고 수치적 안정성을 향상시켜 신뢰할 수 있는 후속 분류를 지원한다.
• 주제 해석은 매우 해석 가능하다: 예를 들어 하지 부상 데이터셋에서 주제 1은 지상에서의 낙상 상태를 명확히 식별하며, 주제 3은 자전거 관련 무릎 부상 상태를 포괄한다.
• 뇌졸중 증상 데이터셋에서 SONMF는 '좌측'과 '우측' 증상 간을 정확히 구분하며, '지속적'과 '불안정한'을 상반된 개념으로 분리한다.
• 이 방법은 겹치지 않으며 의미적으로 구분되는 주제를 생성하며, 음수 가중치를 가진 단어들은 종종 거울상 상태를 나타내며(예: 좌측 대비 우측), 임상적으로 구분 가능한 상태를 구분할 수 있음을 확인한다.