[論文レビュー] Psycholinguistic Tripartite Graph Network for Personality Detection

Tao Yang, Feifan Yang+2 more|arXiv (Cornell University)|Jun 9, 2021

Mental Health via Writing参考文献 35被引用数 5

ひとこと要約

本稿では、LIWCに基づく構造的知識を投稿、語彙、心理的カテゴリーの異種グラフを介してパーソナリティ検出に統合する、心理言語的三部グラフネットワークTrigNetを提案する。BERTで初期化された新しいフローGATを用いた効率的なメッセージスイーピングにより、TrigNetは最先端の性能を達成し、KaggleおよびPandoraデータセットにおいてそれぞれ平均F1を3.47点および2.10点向上させるとともに、FLOPSとメモリ使用量を38%および32%削減した。

ABSTRACT

Most of the recent work on personality detection from online posts adopts multifarious deep neural networks to represent the posts and builds predictive models in a data-driven manner, without the exploitation of psycholinguistic knowledge that may unveil the connections between one's language usage and his psychological traits. In this paper, we propose a psycholinguistic knowledge-based tripartite graph network, TrigNet, which consists of a tripartite graph network and a BERT-based graph initializer. The graph network injects structural psycholinguistic knowledge from LIWC, a computerized instrument for psycholinguistic analysis, by constructing a heterogeneous tripartite graph. The graph initializer is employed to provide initial embeddings for the graph nodes. To reduce the computational cost in graph learning, we further propose a novel flow graph attention network (GAT) that only transmits messages between neighboring parties in the tripartite graph. Benefiting from the tripartite graph, TrigNet can aggregate post information from a psychological perspective, which is a novel way of exploiting domain knowledge. Extensive experiments on two datasets show that TrigNet outperforms the existing state-of-art model by 3.47 and 2.10 points in average F1. Moreover, the flow GAT reduces the FLOPS and Memory measures by 38% and 32%, respectively, in comparison to the original GAT in our setting.

研究の動機と目的

• データ駆動型の深層学習モデルがパーソナリティ検出において心理言語的知識を無視するという限界を是正すること。
• LIWCからの構造的心理言語的特徴をグラフベースのニューラルネットワークに明示的に統合し、より良い表現学習を実現すること。
• 効率的なメッセージスイーピング機構を用いて、パフォーマンスを維持したままグラフ学習における計算コストを低減すること。
• 心理的カテゴリー・ノード（例：Affect、Function）がパーソナリティ関連の手がかりを効果的に捉える上で重要な役割を果たすことを示すこと。

提案手法

• 投稿、語彙、LIWC心理的カテゴリーの3種類のノードタイプを含む三部グラフを構築する。
• 語彙-投稿および語彙-カテゴリーの従属関係に基づいてエッジを定義し、言語的および心理的構造を符号化する。
• BERTを用いてノード埋め込みを初期化し、文脈的および意味的表現を提供する。
• 隣接するノードタイプ（例：投稿–語彙–カテゴリー）へのみメッセージスイーピングを制限する、新しいフローフレームワークGATを提案する。
• 複数のBERT層からの表現を集約するためのレイヤー注意力を適用し、より深い層（10–12）に注目することで、より優れた初期埋め込みを得る。
• パーソナリティ分類のため、ユーザーの最終的表現を投稿ノードの埋め込みの平均化によって集約する。

実験結果

リサーチクエスチョン

• RQ1 三部グラフ構造は、LIWCからの心理言語的知識を効果的に統合し、パーソナリティ検出を向上させることができるか？
• RQ2 フローフレームワークGATは、標準的なGATと比較して計算コストをどのように低減させつつ、パフォーマンスを維持できるか？
• RQ3 AffectやFunctionなどの心理的カテゴリーのうち、どれがパーソナリティ予測に最も寄与しているか？
• RQ4 BERTベースのグラフ初期化子とレイヤー注意力は、モデルのパフォーマンスにどのような影響を与えるか？
• RQ5 F1スコアと効率性の観点から、TrigNetは最先端モデルと比較してどのように差をつけるか？

主な発見

• TrigNetは、SOTAモデルSN+Attと比較して、Kaggleデータセットで平均マクロF1スコアを3.47ポイント向上させ、Pandoraデータセットでは2.10ポイント向上させた。
• フローフレームワークGATは、vanilla GATと比較してFLOPSを38%、メモリ使用量を32%削減したが、追加パラメータを追加せずに実現した。
• カテゴリー・ノードを削除すると最も大きなパフォーマンス低下が発生し、Affectが最も影響力が大きく、次いでSocialおよびCognitionが続く。
• レイヤー注意力の分析から、BERTの層10–12が初期ノード表現に最も寄与していることが判明し、それらの選択が正当化された。
• アブレーションスタディにより、三部グラフ構造とフローフレームワークGATの両方が、パフォーマンスと効率性の向上に不可欠であることが確認された。