[논문 리뷰] Orders Are Unwanted: Dynamic Deep Graph Convolutional Network for Personality Detection

Tao Yang, Jinghao Deng외 2명|arXiv (Cornell University)|2022. 12. 03.

Personality Traits and Psychology인용 수 5

한 줄 요약

이 논문은 인위적인 게시물 순서를 부과하지 않고 다수의 소셜 미디어 게시물을 바탕으로 사용자 성격을 모델링하는 동적 딥 그래프 컨볼루션 네트워크인 D-DGCN을 제안한다. 기울기 역전파가 가능한 학습-연결 모듈을 통해 게시물 간 적응형 다중 홉 연결을 학습하고, 딥 GCN을 활용하여 과도한 스무딩을 완화함으로써 Kaggel 및 Pandora 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 기존 순차적 및 계층적 기반 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

Predicting personality traits based on online posts has emerged as an important task in many fields such as social network analysis. One of the challenges of this task is assembling information from various posts into an overall profile for each user. While many previous solutions simply concatenate the posts into a long document and then encode the document by sequential or hierarchical models, they introduce unwarranted orders for the posts, which may mislead the models. In this paper, we propose a dynamic deep graph convolutional network (D-DGCN) to overcome the above limitation. Specifically, we design a learn-to-connect approach that adopts a dynamic multi-hop structure instead of a deterministic structure, and combine it with a DGCN module to automatically learn the connections between posts. The modules of post encoder, learn-to-connect, and DGCN are jointly trained in an end-to-end manner. Experimental results on the Kaggle and Pandora datasets show the superior performance of D-DGCN to state-of-the-art baselines. Our code is available at https://github.com/djz233/D-DGCN.

연구 동기 및 목표

• 성격 탐지에서 순차적 또는 계층적 모델이 게시물 순서를 인위적으로 부과하는 한계를 해결하기 위해.
• 다수의 게시물을 순서 없이 융합하여 통합된 사용자 성격 프로파일을 생성할 수 있도록 하기 위해.
• 사전 정의된 그래프에 의존하지 않고 동적이고 성격 인식 가능한 게시물 간 연결을 학습하기 위해.
• 분리된 전파 및 변환 연산을 통해 딥 GCN에서의 과도한 스무딩을 완화함으로써 성능을 향상시키기 위해.
• 제거 분석 및 분석을 통해 제안된 모듈의 효과성을 검증하기 위해.

제안 방법

• 학습-연결(L2C) 모듈은 기울기 역전파가 가능한 임계값 함수를 사용하여 방향성 있는 그래프 구조 내에서 게시물 간에 동적으로 다중 홉 연결을 설정한다.
• 각 게시물은 사전 학습된 BERT 모델을 통해 임bedding되며 노드로 표현되며, 최종 표현을 집계하기 위해 특수 사용자 노드를 추가한다.
• D-DGCN 모듈은 변환과 전파 연산을 분리하여 더 깊은 스택 구현이 가능하고 과도한 스무딩을 감소시킨다.
• 게시물 인코더, L2C, DGCN는 엔드 투 엔드로 공동 최적화되어 성격 분류를 최적화한다.
• 유도된 인접 행렬이 계층별로 학습되어 게시물 간에 비대칭적이고 맥락 민감한 연결을 가능하게 한다.
• 모델은 최종 성격 예측을 직접 출력하기 위해 특수 사용자 노드를 사용하여 기존의 풀링 방식을 대체한다.

실험 결과

연구 질문

• RQ1 동적이고 학습-연결 가능한 그래프 구조가 결정론적 또는 고정된 그래프보다 성격 탐지에서 더 우수한 성능을 내는가?
• RQ2 단일 홉 또는 무방향 그래프에 비해 다중 홉, 방향성 있는 그래프 학습 메커니즘이 성능 향상에 기여하는가?
• RQ3 분리된 연산을 갖는 딥 GCN과의 통합이 모델 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ4 성격 탐지에서 게시물 표현을 집계하는 데 있어 특수 사용자 노드가 전역 풀링보다 더 효과적인가?
• RQ5 도메인 적응형 게시물 미세조정은 게시물 인코더의 전이 가능성에 얼마나 기여하는가?

주요 결과

• D-DGCN는 Kaggle 및 Pandora 데이터셋 모두에서 최신 기술 수준의 성능을 달성하며, 이전의 모든 기반 모델을 능가한다.
• D-DGCN/싱글홉 버전은 전체 모델에 비해 성능이 열 劣함을 확인하여 다중 홉 연결 학습의 필요성을 입증한다.
• 방향성 있는 그래프(D-DGCN)는 무방향 버전(D-DGCN/undirected)보다 성능이 뛰어나 비대칭 연결이 더 풍부한 성격 정보를 담고 있음을 시사한다.
• 특수 사용자 노드는 전역 풀링 대비 성능 향상에 크게 기여하여 표현 집합의 효과성을 입증한다.
• 도메인 적응형 게시물 미세조정은 모델 성능 향상에 기여하며, 원본 BERT가 전이에 적합한 성격 특화 지식를 충분히 갖추고 있지 않음을 보여준다.
• 희소성 분석 결과, 다양한 성격 차원이 서로 다른 양의 정보를 필요로 하며, T 대비 F가 가장 구별되며 가장 희소한 것으로 나타났다.