[論文レビュー] Orders Are Unwanted: Dynamic Deep Graph Convolutional Network for Personality Detection

Tao Yang, Jinghao Deng+2 more|arXiv (Cornell University)|Dec 3, 2022

Personality Traits and Psychology被引用数 5

ひとこと要約

本稿では、人工的な投稿順序を課さずに、複数のソーシャルメディア投稿からユーザーのパーソナリティをモデル化する動的ディープグラフ畳み込みネットワーク、D-DGCNを提案する。微分可能で学習可能な接続モジュールを用いて投稿間の適応的でマルチホップな接続を学習し、過剰平滑化を軽減するためのディープGCNを活用することで、KaggleおよびPandoraデータセットにおいて最先端の性能を達成し、従来の順序付きおよび階層的ベースラインを上回る。

ABSTRACT

Predicting personality traits based on online posts has emerged as an important task in many fields such as social network analysis. One of the challenges of this task is assembling information from various posts into an overall profile for each user. While many previous solutions simply concatenate the posts into a long document and then encode the document by sequential or hierarchical models, they introduce unwarranted orders for the posts, which may mislead the models. In this paper, we propose a dynamic deep graph convolutional network (D-DGCN) to overcome the above limitation. Specifically, we design a learn-to-connect approach that adopts a dynamic multi-hop structure instead of a deterministic structure, and combine it with a DGCN module to automatically learn the connections between posts. The modules of post encoder, learn-to-connect, and DGCN are jointly trained in an end-to-end manner. Experimental results on the Kaggle and Pandora datasets show the superior performance of D-DGCN to state-of-the-art baselines. Our code is available at https://github.com/djz233/D-DGCN.

研究の動機と目的

• パーソナリティ検出において、任意の投稿順序を強制する順序付きまたは階層的モデルの制限を解消すること。
• 複数の投稿を順序なしで統合し、一貫性のあるユーザーのパーソナリティプロファイルを生成すること。
• 事前に定義されたグラフに依存せずに、動的でパーソナリティに適応した投稿間の接続を学習すること。
• 分離された伝搬と変換を用いた手法により、ディープGCNにおける過剰平滑化を軽減することで性能を向上させること。
• アブレーションと分析を通じて、提案されたモジュールの有効性を検証すること。

提案手法

• 学習可能な接続（L2C）モジュールは、微分可能なしきい値関数を用いて、有向グラフ構造内での投稿間の動的でマルチホップな接続を確立する。
• 各投稿は事前学習済みのBERTモデルによって埋め込みられ、ノードとして表現され、最終的な表現を集約するための特別なユーザー・ノードが追加される。
• D-DGCNモジュールは変換と伝搬の操作を分離することで、より深いスタックが可能となり、過剰平滑化が軽減される。
• 投稿エンコーダ、L2C、およびDGCNは、パーソナリティ分類を最適化するために、エンドツーエンドで共同学習される。
• 有向隣接行列がレイヤーごとに学習され、投稿間の非対称的で文脈に依存する接続が可能になる。
• 特別なユーザー・ノードを用いて、従来のプーリングとは異なり、最終的なパーソナリティ予測を直接出力する。

実験結果

リサーチクエスチョン

• RQ1 動的で学習可能な接続グラフ構造は、決定的または固定グラフよりもパーソナリティ検出において優れた性能を発揮するか？
• RQ2 マルチホップで有向のグラフ学習メカニズムは、シングルホップまたは無向グラフと比較して性能を向上させるか？
• RQ3 分離された操作を用いたディープGCNとの統合は、モデルの性能と一般化能力にどのように影響するか？
• RQ4 特別なユーザー・ノードは、パーソナリティ検出における投稿表現の集約において、グローバルプーリングよりも優れているか？
• RQ5 ドメイン適応型の投稿微調整は、投稿エンコーダの転送性をどの程度向上させるか？

主な発見

• D-DGCNは、KaggleおよびPandoraの両データセットで最先端の性能を達成し、すべての先行ベースラインを上回る。
• D-DGCN/シングルホップの変種は、完全なモデルに比べて性能が劣っており、マルチホップ接続学習の必要性が裏付けられる。
• 有向グラフ（D-DGCN）は、無向バージョン（D-DGCN/無向）を上回り、非対称な接続がより豊かなパーソナリティ情報を保持していることが示された。
• 特別なユーザー・ノードは、グローバルプーリングよりも顕著に性能を向上させ、表現集約における有効性が実証された。
• ドメイン適応型の投稿微調整はモデル性能を向上させ、元のBERTが転送に適したパーソナリティ固有の知識を十分に持たないことが示された。
• スパarsity分析により、異なるパーソナリティ次元が異なる量の情報を要することが判明し、T対Fが最も特徴的でスパースな次元であることが明らかになった。