[논문 리뷰] Psycholinguistic Tripartite Graph Network for Personality Detection

Tao Yang, Feifan Yang외 2명|arXiv (Cornell University)|2021. 06. 09.

Mental Health via Writing참고 문헌 35인용 수 5

한 줄 요약

이 논문은 LIWC 기반의 구조적 지식을 게시물, 단어, 심리적 카테고리로 구성된 이종 그래프를 통해 성격 탐지에 통합하는 심리언어학적 삼중 그래프 네트워크인 TrigNet을 제안한다. BERT로 초기화된 그래프와 새로운 플로우 GAT를 통해 효율적인 메시지 전달을 구현함으로써 TrigNet은 최신 기술 수준의 성능을 달성하였으며, Kaggle 및 Pandora 데이터셋에서 각각 평균 F1 점수를 3.47점과 2.10점 향상시켰고, FLOPS와 메모리 사용량을 각각 38%와 32% 감소시켰다.

ABSTRACT

Most of the recent work on personality detection from online posts adopts multifarious deep neural networks to represent the posts and builds predictive models in a data-driven manner, without the exploitation of psycholinguistic knowledge that may unveil the connections between one's language usage and his psychological traits. In this paper, we propose a psycholinguistic knowledge-based tripartite graph network, TrigNet, which consists of a tripartite graph network and a BERT-based graph initializer. The graph network injects structural psycholinguistic knowledge from LIWC, a computerized instrument for psycholinguistic analysis, by constructing a heterogeneous tripartite graph. The graph initializer is employed to provide initial embeddings for the graph nodes. To reduce the computational cost in graph learning, we further propose a novel flow graph attention network (GAT) that only transmits messages between neighboring parties in the tripartite graph. Benefiting from the tripartite graph, TrigNet can aggregate post information from a psychological perspective, which is a novel way of exploiting domain knowledge. Extensive experiments on two datasets show that TrigNet outperforms the existing state-of-art model by 3.47 and 2.10 points in average F1. Moreover, the flow GAT reduces the FLOPS and Memory measures by 38% and 32%, respectively, in comparison to the original GAT in our setting.

연구 동기 및 목표

• 데이터 기반 딥 러닝 모델이 성격 탐지에서 심리언어학적 지식을 간과하는 데서 비롯되는 한계를 해결하기 위해.
• LIWC로부터 유래한 구조적 심리언어학적 특징을 그래프 기반 신경망에 명시적으로 통합하여 더 나은 표현 학습을 가능하게 하기 위해.
• 효율적인 메시지 전달 메커니즘을 통해 그래프 학습의 계산 비용을 줄이면서 성능를 유지하기 위해.
• 심리적 카테고리 노드(예: 영향, 기능)가 성격 관련 단서를 포착하는 데 핵심적인 역할을 한다는 것을 입증하기 위해.

제안 방법

• 게시물, 단어, LIWC 심리적 카테고리의 세 가지 노드 유형을 포함한 삼중 이종 그래프를 구축하기 위해.
• 어휘적 및 심리적 구조를 인코딩하기 위해 단어-게시물 및 단어-카테고리의 지배 관계를 기반으로 간선을 정의하기 위해.
• 맥락적이고 의미적인 표현을 제공하기 위해 노드 임베딩을 BERT로 초기화하기 위해.
• 이웃한 노드 유형(예: 게시물–단어–카테고리) 간의 메시지 전달만 허용함으로써 계산을 줄이는 플로우 GAT를 제안하기 위해.
• 더 깊은 레이어(10–12번 레이어)에 집중하여 더 나은 초기 임베딩을 확보하기 위해 다수의 BERT 레이어에서의 표현을 집계하기 위해 레이어 주의를 적용하기 위해.
• 성격 분류를 위해 사용자 최종 표현을 게시물 노드 임베딩의 평균을 취해 집계하기 위해.

실험 결과

연구 질문

• RQ1 삼중 그래프 구조는 LIWC에서 유래한 심리언어학적 지식을 효과적으로 통합하여 성격 탐지 성능을 향상시킬 수 있는가?
• RQ2 표준 GAT에 비해 플로우 GAT는 성능을 유지하면서 어떻게 계산 비용을 줄이는가?
• RQ3 어느 심리적 카테고리(예: 영향, 기능)가 성격 예측에 가장 크게 기여하는가?
• RQ4 BERT 기반 그래프 초기화 및 레이어 주의는 모델 성능에 어떤 영향을 미치는가?
• RQ5 F1 점수와 효율성 측면에서 TrigNet은 최신 기술 수준의 모델들과 비교해 어떻게 성과를 내는가?

주요 결과

• TrigNet는 SOTA 모델인 SN+Att에 비해 Kaggle 데이터셋에서 평균 매크로-F1 점수를 3.47점 향상시키고, Pandora 데이터셋에서는 2.10점 향상시켰다.
• 플로우 GAT는 일반 GAT에 비해 FLOPS를 38% 감소시키고 메모리 사용량을 32% 감소시켰으며, 추가 파라미터 없이도 성능을 유지했다.
• 카테고리 노드를 제거할 경우 성능 저하가 가장 크게 발생했으며, 영향이 가장 영향력 있는 카테고리였고, 이어 사회성과 인지 순이었다.
• 레이어 주의 분석 결과, BERT의 10–12번 레이어가 초기 노드 표현에 가장 크게 기여함을 확인하여 이들의 선택이 타당함을 입증했다.
• 제거 실험 결과, 삼중 그래프 구조와 플로우 GAT가 성능 향상과 효율성 향상에 필수적임을 확인했다.