[논문 리뷰] "Is depression related to cannabis?": A knowledge-infused model for Entity and Relation Extraction with Limited Supervision

Kaushik Roy, Usha Lokala외 2명|arXiv (Cornell University)|2021. 02. 01.

Sentiment Analysis and Opinion Mining참고 문헌 50인용 수 9

한 줄 요약

이 논문은 GPT-3와 감독 대비 학습을 사용하여 정신 건강 분야에서의 낮은 자원 환경에서 인간 레이블이 제한된 상황에서도 우수한 성능을 기록하는 지식 통합형 소수 샘플 관계 추출 프레임워크를 제안한다. 이는 소셜 미디어 텍스트에서 우울증-마리화나 관계(이유, 영향, 중독)를 식별하기 위해 개발되었으며, 제한된 인간 레이블에도 불구하고 최신 기술(SOTA) 모델을 초월한다. 이 방법은 약물 남용 온톨로지와 DSM-5/PHQ-9 어휘집을 활용하여 맥락 이해를 향상시키며, 예측 레이블이 부여된 고품질의 공개 데이터셋 11,000건을 생성한다.

ABSTRACT

With strong marketing advocacy of the benefits of cannabis use for improved mental health, cannabis legalization is a priority among legislators. However, preliminary scientific research does not conclusively associate cannabis with improved mental health. In this study, we explore the relationship between depression and consumption of cannabis in a targeted social media corpus involving personal use of cannabis with the intent to derive its potential mental health benefit. We use tweets that contain an association among three categories annotated by domain experts - Reason, Effect, and Addiction. The state-of-the-art Natural Langauge Processing techniques fall short in extracting these relationships between cannabis phrases and the depression indicators. We seek to address the limitation by using domain knowledge; specifically, the Drug Abuse Ontology for addiction augmented with Diagnostic and Statistical Manual of Mental Disorders lexicons for mental health. Because of the lack of annotations due to the limited availability of the domain experts' time, we use supervised contrastive learning in conjunction with GPT-3 trained on a vast corpus to achieve improved performance even with limited supervision. Experimental results show that our method can significantly extract cannabis-depression relationships better than the state-of-the-art relation extractor. High-quality annotations can be provided using a nearest neighbor approach using the learned representations that can be used by the scientific community to understand the association between cannabis and depression better.

연구 동기 및 목표

• 소셜 미디어 텍스트에서 마리화나와 우울증 간의 미세한 관계를 추출하기 위한 레이블이 부족한 문제를 해결하기 위해.
• 약물 남용 온톨로지와 DSM-5/PHQ-9 어휘집에서 도메인 특화 지식을 통합하여 인간 레이블이 제한된 환경에서 관계 추출 성능을 향상시키기 위해.
• GPT-3 표현을 활용하여 대규모 인간 레이블이 필요한 소수 샘플 학습 접근법을 개발하여, 레이블에 대한 의존도를 줄이기 위해.
• 향후 정신 건강 연구를 지원하기 위해 예측 레이블이 부여된 11,000건의 트윗으로 구성된 고품질 공개 데이터셋을 생성하기 위해.
• 지식 통합이 제한된 감독 하에서 전문화된 정신 건강 도메인에서 관계 추출 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 자연어의 의미적 및 문법적 패턴을 포착하기 위해 트윗에 대한 맥락 기반 임베딩을 GPT-3를 사용해 생성한다.
• 약물 남용 온톨로지(DAO)에 DSM-5, PHQ-9, SNOMED-CT, ICD-10, MeSH 용어를 추가하여 도메인 지식을 통합함으로써 엔티티 및 관계 표현을 풍부화시킨다.
• 감독 대비 학습을 적용하여 레이블이 3,000건 뿐인 인간 레이블 트윗만을 사용해 모델을 미세조정함으로써, 제한된 감독 하에서도 일반화 능력을 향상시킨다.
• 학습된 표현을 기반으로 레이블이 없는 트윗을 군집화하고, 다수결 투표를 통해 관계 유형(이유, 영향, 중독)에 레이블을 할당한다.
• 근접한 이웃 접근법을 사용하여 높은 신뢰도 예측을 레이블이 없는 데이터에 전파함으로써, 반감독 학습을 가능하게 한다.
• 지식 인식 손실 함수를 모델 아키텍처에 통합하여 관련 엔티티 및 관계의 표현을 정렬함으로써, 관계 유형 간의 구분 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 지식 통합형 NLP 모델이 인간 레이블이 제한된 상황에서도 최신 기술(SOTA) 관계 추출기보다 마리화나-우울증 관계를 더 잘 식별할 수 있는가?
• RQ2 GPT-3 표현과 도메인 지식을 조합하여 정신 건강 텍스트에서 소수 샘플 관계 추출을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 소수의 레이블 예제만 존재할 경우 감독 대비 학습이 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 학습된 표현을 기반으로 한 트윗 임베딩의 무 supervision 군집화가 세 가지 관계 유형(이유, 영향, 중독)을 정확히 예측할 수 있는가?
• RQ5 의료 및 중독 온톨로지에서 온 지식 통합이 소셜 미디어 데이터에서 추출된 관계의 해석 가능성과 신뢰도를 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 제한된 감독 하에서도 최신 기술(SOTA) 관계 추출기보다 마리화나-우울증 관계 식별에서 뚜렷한 성능 향상을 보였다.
• 약물 남용 온톨로지에 DSM-5 및 PHQ-9 어휘집을 통합함으로써, 모델이 우울증 및 마리화나와 관련된 임상 용어와 은어를 더 잘 인식할 수 있게 되었다.
• 감독 대비 학습을 통해 표현 학습이 향상되어 t-SNE를 통한 시각화 결과에서 트윗이 세 가지 관계 유형(이유, 영향, 중독)으로 잘 군집화되었다.
• 군집화와 근접 이웃 레이블링의 조합을 통해 11,000건의 레이블이 없는 트윗에 대해 고품질 예측을 달성하여 향후 연구를 위한 신뢰할 수 있는 데이터셋을 구성하였다.
• t-SNE 시각화 결과에서 학습된 표현이 세 가지 관계 클래스를 명확히 분리하고 있음을 확인하여, 의미적 역할의 효과적인 해소가 이루어졌음을 입증하였다.
• 최종적으로 3,000건의 인간 레이블과 8,000건의 예측 레이블을 포함한 11,000건의 트윗 데이터셋이 공개되어, 마리화나와 우울증에 관한 재현 가능한 연구를 지원한다.