[論文レビュー] Process Knowledge-infused Learning for Suicidality Assessment on Social Media

Kaushik Roy, Manas Gaur+2 more|arXiv (Cornell University)|Apr 26, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、臨床ガイドライン（例：コロンビア自殺危険度評価尺度（CSSRS））をモデル学習プロセスに明示的に統合することで、ソーシャルメディア上の自殺的傾向評価を向上させる、新しいAIパラダイム「プロセス知識統合学習（PK-iL）」を提案する。構造化されたプロセス知識を活用し、人間が理解可能な説明を最適化することで、PK-iLは説明の質において高いアノテーター間一致度（0.72）を達成し、従来のXAI手法よりも解釈可能でプロセスに整合した説明を提供しながら、SOTAベースラインと同等の性能を発揮する。

ABSTRACT

Improving the performance and natural language explanations of deep learning algorithms is a priority for adoption by humans in the real world. In several domains, such as healthcare, such technology has significant potential to reduce the burden on humans by providing quality assistance at scale. However, current methods rely on the traditional pipeline of predicting labels from data, thus completely ignoring the process and guidelines used to obtain the labels. Furthermore, post hoc explanations on the data to label prediction using explainable AI (XAI) models, while satisfactory to computer scientists, leave much to be desired to the end-users due to lacking explanations of the process in terms of human-understandable concepts. We extit{introduce}, extit{formalize}, and extit{develop} a novel Artificial Intelligence (A) paradigm -- Process Knowledge-infused Learning (PK-iL). PK-iL utilizes a structured process knowledge that explicitly explains the underlying prediction process that makes sense to end-users. The qualitative human evaluation confirms through a annotator agreement of 0.72, that humans are understand explanations for the predictions. PK-iL also performs competitively with the state-of-the-art (SOTA) baselines.

研究の動機と目的

• 既存の説明可能AI（XAI）手法における、人間が理解可能なプロセスに整合した説明の欠如に対処すること。
• 臨床ガイドラインを明示的にモデル学習に組み込む新しいAIパラダイム「プロセス知識統合学習（PK-iL）」を形式化し開発すること。
• CSSRSフレームワークに根ざした、ラベルとプロセス知識（PK）の両方をアノテートしたデータセットを構築すること。
• モデルの類似性空間を人間のアノテーターがラベル付けプロセスをどのように理解しているかと一致させることで、モデルの解釈可能性を向上させること。
• 臨床医などのエンドユーザーが、現実の臨床意思決定プロセスを反映した説明を通じて、モデルの予測を信頼し検証できるようにすること。

提案手法

• 著者らは、プロセス知識（PK）を、ラベル付けに用いられる推論ステップを形式化した構造的で人間が読めるガイドライン（例：CSSRS）として定義する。
• 各ソーシャルメディア投稿が、最終的なラベルと、アノテーターが用いたステップバイステップのPKに基づく推論経路の両方でアノテートされた、新しいデータセットを構築する。
• PK-iLは、予測時にPK経路を回復・追従するよう促すグローバルに最適な最適化目的関数を用いる。
• 事前学習済みの大規模言語モデル（LLMs）をプロキシとして統合し、各ステップで個々のテキスト断片がPK基準を満たしているかどうかを評価することで、細粒度のプロセス整合性を実現する。
• 説明は、『死にたい願望：はい → 一般的でない自殺的思考：はい』などのPKステップのシーケンスとして生成され、追跡可能で人間が読める根拠を提供する。
• 類似性関数（例：ガウスカーネル）を用いて、各PK条件を満たすテキスト断片を同定し、アノテーター間一致度に基づいて強調表示を行う。

実験結果

リサーチクエスチョン

• RQ1 モデル学習に構造的な臨床プロセス知識を統合することで、自殺的傾向検出システムの解釈可能性と人間による信頼性が向上するか？
• RQ2 PK-iLの説明の質は、LIME や SHAP などの従来のXAI手法と比較して、人間の理解性および臨床ガイドラインとの整合性において優れているか？
• RQ3 PK-iLは、SOTA言語モデルを活用して、PKの各ステップにおけるテキスト断片の理解を人間のアノテーターに模倣できるか？
• RQ4 PK-iLは、SOTAベースラインと同等の性能を達成しながら、より意味的でプロセスに整合した説明を提供できるか？
• RQ5 PK-iLは、既存の臨床スケール（例：CSSRS）が曖昧または不十分であるとされるケースを特定でき、臨床ガイドラインの改善を促すことができるか？

主な発見

• PK-iLは、説明の質において0.72のアノテーター間一致度を達成し、モデルの根拠が人間と強く整合しており、理解しやすいことを示した。
• モデルの予測は正解ラベルと一貫しており、最良の状況では人間のアノテーターと同等の性能を発揮した。
• 従来の埋め込みベースの説明手法（例：Word2vec + ロジスティック回帰）に比べ、PK-iLは臨床的に意味のある説明を提供した。後者はしばしば文脈的に無関係なが頻出する語句を強調する傾向にあった。
• 本手法は、各PK条件（例：『死にたい願望』や『銃を持っている』）を満たすテキスト断片を正しく特定・強調し、CSSRSの特定のステップに追跡可能な根拠を提供した。
• PK-iLは、臨床ガイドラインのアノテーター間一致度が低い領域を同定する能力を示し、既存スケールの改善に役立つ可能性を示唆した。
• ノイズが多い、または長いソーシャルメディア投稿では、PK-iLおよび埋め込みベースのモデルの両方とも性能が低下したため、今後の研究でデータ品質の問題に対する耐性を高める必要がある。