[論文レビュー] Personality Type Based on Myers-Briggs Type Indicator with Text Posting Style by using Traditional and Deep Learning

Sakdipat Ontoum, Jonathan H. Chan|arXiv (Cornell University)|Jan 21, 2022

Customer churn and segmentationBusiness, Management and Accounting被引用数 19

ひとこと要約

本研究では、従来の（ナイーブベイズ、SVM）およびディープラーニング（再帰ニューラルネットワーク）モデルを用いて、テキスト投稿からマイヤーズ・ブリッグス・タイプ・インジケーター（MBTI）パーソナリティタイプを予測する機械学習フレームワークを提案する。RNNベースのアプローチは、単語埋め込みと双方向LSTMを活用することで、全4つのMBTI次元において他のモデルを上回り、平均F1スコアは約76％を達成した。

ABSTRACT

The term personality may be expressed in terms of the individual differences in characteristics pattern of thinking, feeling, and behavior. This work presents several machine learning techniques including Naive Bayes, Support Vector Machines, and Recurrent Neural Networks to predict people personality from text based on Myers-Briggs Type Indicator (MBTI). Furthermore, this project applies CRISP-DM, which stands for Cross-Industry Standard Process for Data Mining, to guide the learning process. Since, CRISP-DM is kind of iterative development, we have adopted it with agile methodology, which is a rapid iterative software development method, in order to reduce the development cycle to be minimal.

研究の動機と目的

• ソーシャルメディアのテキスト投稿からMBTIパーソナリティタイプを予測する機械学習ベースのシステムを開発すること。
• MBTI分類における従来の機械学習モデル（ナイーブベイズ、SVM）とディープラーニング（RNN）の性能を比較すること。
• 反復的開発を効率化するため、CRISP-DMフレームワークにアジール手法を適用してパーソナリティ予測モデルの開発を進めること。
• 全4つのMBTI次元（例：知覚対判断）におけるモデルのパフォーマンスを評価し、分類の弱みを特定すること。
• フォーラムベースのテキストデータ（例：Personality Cafe）が、信頼性のあるパーソナリティ予測のためのデータソースとして利用可能かどうかを検討すること。

提案手法

• 反復的データマイニングとモデル開発を促進するため、CRISP-DMフレームワークにアジール手法を適用した。
• URL、特殊文字、ストップワードの削除、小文字正規化、ステミングを実施することで、テキストデータを前処理した。
• Scikit-learnを用いて、多項式NB（multinomial-NB）および線形カーネルと正則化を用いたサポートベクターマシン（SVM）を実装した。
• TensorFlowを用いて、単語埋め込み（語彙サイズ256）、順序特徴抽出のためのCONV1D層、双方向コンテキスト学習のための双方向LSTM（64ユニット）を組み合わせたディープラーニングモデルを構築した。
• Scikit-learnのtrain_test_split関数を用いて、データセットを75％のトレーニングデータと25％のテストデータに分割した。
• 混同行列、分類レポート、F1スコアメトリクスを用いて、全MBTIタイプにおける適合率、再現率、F1の評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 ナイーブベイズ、SVM、または再帰ニューラルネットワークのうち、どの機械学習モデルがテキストからのMBTIパーソナリティタイプ予測において最も優れた性能を示すか？
• RQ2 モデルのパフォーマンスは、全4つのMBTI次元（例：知覚対判断）においてどのように変動するか？
• RQ3 双方向LSTMと単語埋め込みの使用が、従来のモデルと比較して分類精度をどの程度向上させるか？
• RQ4 特定のMBTIタイプを正確に分類できない主な制限要因は何か。また、混同行列は誤分類のパターンをどのように明らかにしているか？
• RQ5 Personality Cafeなどのフォーラムからのソーシャルメディアテキストは、機械学習を用いた信頼性のあるパーソナリティ予測のための有効なデータソースと見なせるか？

主な発見

• 再帰ニューラルネットワーク（RNN）モデルが、全4つのMBTIパーソナリティタイプにおいて最高の全体的な正答率を達成し、ナイーブベイズおよびSVMを上回った。
• RNNモデルのF1スコア平均は約76％であり、全クラスにおける適合率と再現率のバランスの取れた性能を示した。
• RNNモデルの混同行列は、多数の予測が真陽性として正しく分類されており、偽陽性は比較的少ないことを示しており、分類の一貫性が高かった。
• ナイーブベイズおよびSVMモデルは、知覚（P）および判断（J）次元において、RNNモデルと比較して顕著に低い正答率を示した。
• 分類レポート（図13および14）は、RNNモデルが、特に分類が難しいとされる次元においても、全MBTIタイプで高い適合率と再現率を維持していることを確認した。
• 全体として優れたパフォーマンスを示したが、モデルは全4つのMBTI次元を正確に分類する点で一般的な弱みを示しており、データセットに固有の曖昧さやクラス不均衡が存在する可能性を示唆した。