[논문 리뷰] Process Knowledge-infused Learning for Suicidality Assessment on Social Media

Kaushik Roy, Manas Gaur외 2명|arXiv (Cornell University)|2022. 04. 26.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 사회 미디어에서 자살 위험 평가를 향상시키기 위해 임상 지침(예: 콜롬비아 자살 위험 평가 척도(CSSRS))을 모델 훈련 과정에 명시적으로 통합함으로써 프로세스 지식 통합 학습(PK-iL)이라는 새로운 AI 패러다임을 소개한다. 구조화된 프로세스 지식을 활용하고 인간이 이해할 수 있는 설명을 최적화함으로써 PK-iL는 설명 품질에 대해 높은 평가자 간 일致도(0.72)를 달성했으며, 기존의 XAI 방법보다 더 해석 가능하고 프로세스에 부합하는 설명을 제공하면서도 최첨단(SOTA) 기준 모델들과 경쟁 가능한 성능을 보였다.

ABSTRACT

Improving the performance and natural language explanations of deep learning algorithms is a priority for adoption by humans in the real world. In several domains, such as healthcare, such technology has significant potential to reduce the burden on humans by providing quality assistance at scale. However, current methods rely on the traditional pipeline of predicting labels from data, thus completely ignoring the process and guidelines used to obtain the labels. Furthermore, post hoc explanations on the data to label prediction using explainable AI (XAI) models, while satisfactory to computer scientists, leave much to be desired to the end-users due to lacking explanations of the process in terms of human-understandable concepts. We extit{introduce}, extit{formalize}, and extit{develop} a novel Artificial Intelligence (A) paradigm -- Process Knowledge-infused Learning (PK-iL). PK-iL utilizes a structured process knowledge that explicitly explains the underlying prediction process that makes sense to end-users. The qualitative human evaluation confirms through a annotator agreement of 0.72, that humans are understand explanations for the predictions. PK-iL also performs competitively with the state-of-the-art (SOTA) baselines.

연구 동기 및 목표

• 기존의 정신건강 응용 분야에서의 설명 가능 AI(XAI) 방법들이 인간이 이해할 수 있고 프로세스에 부합하는 설명을 제공하지 못하는 문제를 해결하기 위해.
• 임상 지침을 명시적으로 모델 학습 과정에 통합하는 새로운 AI 패러다임인 프로세스 지식 통합 학습(PK-iL)을 체계화하고 개발하기 위해.
• CSSRS 프레임워크에 기반하여 레이블과 프로세스 지식(PK)을 함께 애너테이션한 데이터셋을 구축하기 위해.
• 모델의 유사도 공간을 인간 애너테이터들이 레이블링 프로세스를 이해하는 방식과 일치시킴으로써 모델의 해석 가능성 향상시키기 위해.
• 최종 사용자(예: 임상의)가 실제 임상 의사 결정 과정을 반영한 설명을 통해 모델 예측을 신뢰하고 검증할 수 있도록 하기 위해.

제안 방법

• 저자들은 프로세스 지식(PK)을 정의하여, 레이블링 과정에서 사용되는 추론 단계를 체계화한 인간이 읽을 수 있는 지침(예: CSSRS)으로 정의한다.
• 각 소셜 미디어 게시물이 최종 레이블뿐 아니라 애너테이터들이 사용한 단계별 PK 기반 추론 경로로도 애너테이션된 새로운 데이터셋을 구축한다.
• PK-iL는 전역적으로 최적화된 목적 함수를 사용하여 모델이 예측 과정에서 PK 경로를 복구하고 따르도록 유도한다.
• 사전 훈련된 대규모 언어 모델(LLMs)을 프록시로 활용하여 각 단계에서 개별 텍스트 조각이 PK 기준을 충족하는지 평가함으로써 세분화된 프로세스 일치를 가능하게 한다.
• 설명은 '죽고 싶다는 욕망: 예 → 비특이적 활동적 자살 생각: 예'와 같은 PK 단계의 시퀀스로 생성되며, 추적 가능하고 인간이 이해할 수 있는 근거를 제공한다.
• 유사도 함수(예: 가우시안 커널)를 사용하여 각 PK 조건을 충족하는 텍스트 조각을 식별하고, 평가자 간 일치도에 기반한 강조 표시를 수행한다.

실험 결과

연구 질문

• RQ1 모델 훈련 과정에 구조화된 임상 프로세스 지식을 통합함으로써 자살 위험 탐지 시스템의 해석 가능성과 인간 신뢰도를 향상시킬 수 있는가?
• RQ2 PK-iL의 설명 품질은 LIME나 SHAP와 같은 전통적 XAI 방법과 비교해 볼 때 인간 이해 가능성과 임상 지침에 대한 일치도 측면에서 어떻게 다른가?
• RQ3 PK-iL는 최첨단 언어 모델을 얼마나 잘 활용하여 PK 각 단계에서 텍스트 조각을 해석하는 데 인간 애너테이터의 이해를 모방할 수 있는가?
• RQ4 PK-iL는 더 의미 있는, 프로세스에 부합하는 설명을 제공하면서도 최첨단 기준 모델들과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 PK-iL는 기존 임상 척도(예: CSSRS)가 모호하거나 부족한 경우를 식별하여, 임상 지침의 개선을 이끌어내는 데 기여할 수 있는가?

주요 결과

• PK-iL는 설명 품질에 대해 평가자 간 일치도 0.72를 기록하여 모델의 근거 제시가 인간과 높은 일치도를 보이며 이해하기 쉬운 것으로 나타났다.
• 모델의 예측은 참값 레이블과 일치했으며, 최상의 경우 인간 애너테이터들과 동일한 성능을 낼 수 있었다.
• PK-iL는 전통적인 임bedding 기반 설명 방법(예: Word2vec + 로지스틱 회귀)보다 임상적으로 의미 있는 설명을 제공했으며, 후자 경우 자주 발생하지만 맥락적으로 무관한 어휘 조합을 강조하는 경향이 있었다.
• 이 방법은 '죽고 싶다는 욕망'이나 '총을 가지고 있다'와 같은 각 PK 조건을 충족하는 텍스트 조각을 성공적으로 식별하고 강조했으며, 설명은 CSSRS의 특정 단계에 직접 연결되어 추적 가능했다.
• PK-iL는 임상 지침의 평가자 간 일치도가 낮은 입력 공간 영역을 탐지할 수 있었으며, 이는 기존 척도의 개선 가능성을 시사했다.
• 노이즈가 많거나 긴 소셜 미디어 게시물에서는 PK-iL와 임베딩 기반 모델 모두 성능이 떨어졌으며, 이는 향후 데이터 품질 문제에 대한 내성적 저항력 향상에 대한 연구가 필요함을 시사한다.