[論文レビュー] A Topic-Attentive Transformer-based Model For Multimodal Depression Detection

Yanrong Guo, Chenyang Zhu+2 more|arXiv (Cornell University)|Jun 27, 2022

Mental Health via Writing被引用数 8

ひとこと要約

本稿では、臨床的インタビューからの音声およびテキストを用いたマルチモーダルなうつ病検出のためのトピックに注目するTransformerベースのモデル、TOATを提案する。データをトピック単位に整理し、トピック注目メカニズムを適用することで、限られた訓練データのもとでも特徴の関連性が向上し、検出精度が向上する。DAIC-WOZデータセットにおいてF1スコア64.7を達成した。

ABSTRACT

Depression is one of the most common mental disorders, which imposes heavy negative impacts on one's daily life. Diagnosing depression based on the interview is usually in the form of questions and answers. In this process, the audio signals and their text transcripts of a subject are correlated to depression cues and easily recorded. Therefore, it is feasible to build an Automatic Depression Detection (ADD) model based on the data of these modalities in practice. However, there are two major challenges that should be addressed for constructing an effective ADD model. The first challenge is the organization of the textual and audio data, which can be of various contents and lengths for different subjects. The second challenge is the lack of training samples due to the privacy concern. Targeting to these two challenges, we propose the TOpic ATtentive transformer-based ADD model, abbreviated as TOAT. To address the first challenge, in the TOAT model, topic is taken as the basic unit of the textual and audio data according to the question-answer form in a typical interviewing process. Based on that, a topic attention module is designed to learn the importance of of each topic, which helps the model better retrieve the depressed samples. To solve the issue of data scarcity, we introduce large pre-trained models, and the fine-tuning strategy is adopted based on the small-scale ADD training data. We also design a two-branch architecture with a late-fusion strategy for building the TOAT model, in which the textual and audio data are encoded independently. We evaluate our model on the multimodal DAIC-WOZ dataset specifically designed for the ADD task. Experimental results show the superiority of our method. More importantly, the ablation studies demonstrate the effectiveness of the key elements in the TOAT model.

研究の動機と目的

• 自動うつ病検出（ADD）における可変長で多様な内容のインタビュー・データの課題に対処するため、データをトピック単位に整理する。
• ADDにおけるデータ不足の課題を軽減するため、大規模な事前学習モデルを活用し、小規模でプライバシーが懸念されるデータセット上でファインチューニングする。
• テキストおよび音声の各トピックの重要性を動的に重みづけるトピック注目メカニズムを導入することで、マルチモーダルなうつ病検出のパフォーマンスを向上させる。
• テキストおよび音声モダリティ表現を統合する2ブランチのTransformerアーキテクチャにおけるラテン統合の有効性を検証する。

提案手法

• モデルは、質問・回答ペアに基づいてインタビュー・データをトピックレベルの単位に整理し、各トピックを意味的単位として扱い、より良い特徴学習を可能にする。
• トピック注目モジュールを導入して、各トピックの重要性を学習させ、予測時に臨床的に関連する内容に注目できるようにする。
• 2ブランチのアーキテクチャにより、テキストおよび音声モダリティを独立して処理し、事前学習モデル（例：Wav2Vec2およびBERT）を、ADDデータセット上でファインチューニングして使用する。
• 最終的な表現を両ブランチから得た後、分類の前に両ブランチの表現を連結することでラテン統合を適用し、補完的な情報統合を可能にする。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、ハイパーパrameterは検証性能に基づいて調整される。
• 除去実験（アブレーションスタディ）により、ブランチやトピック注目モジュールを削除することで、各構成要素の貢献度を評価する。

実験結果

リサーチクエスチョン

• RQ1 文書レベルや主題レベルの処理と比較して、インタビュー・データをトピックレベルの単位に整理することで、うつ病検出のパフォーマンスがどの程度向上するか？
• RQ2 臨床的に関連するトピックに注目することで、トピック注目メカニズムがモデルのパフォーマンスをどの程度向上させるか？
• RQ3 小規模なADDデータセット上で事前学習モデルをファインチューニングすることで、データ不足の問題を効果的に軽減し、検出精度を向上させることができるか？
• RQ4 テキストおよび音声モダリティは、個別および統合的に最終的な検出パフォーマンスにどの程度寄与しているか？

主な発見

• 完全なTOATモデルは、DAIC-WOZデータセットでF1スコア64.7を達成し、単モダリティベースラインを上回った。
• テキストブランチ単体ではF1スコア51.9、音声ブランチ単体では48.0を記録し、両モダリティの補完的価値が示された。
• アブレーションスタディの結果、トピック注目モジュールまたはいずれかのモダリティを削除するとパフォーマンスが著しく低下し、それらの必要性が裏付けられた。
• トピックごとのF1スコアと使用率には正の相関が見られ、より情報量の多いトピックが自然に注目メカニズムによって高く重みづけられる傾向にあることが示された。
• 第5トピック「うつ病と診断されたことがありますか？」は、F1スコアが高くても使用率が低く、その二値性と高い感受性から特異な結果を示した。
• 定性的分析により、モデルがうつ病を明確に示唆する応答に対して高い注目重みを割り当てていることが確認され、臨床的直感と整合的であった。