[论文解读] Extending the Abstraction of Personality Types based on MBTI with Machine Learning and Natural Language Processing

Carlos Basto|arXiv (Cornell University)|May 25, 2021

Data Mining Algorithms and Applications参考文献 13被引用 5

一句话总结

本文提出一种以数据为中心的NLP方法，通过情感、语法和基于方面分析的文本表征增强，提升MBTI人格类型预测性能。采用堆叠集成模型并结合网格搜索超参数调优，该方法在不使用BERT或LSTM等复杂架构的情况下，实现了更优的性能表现，强调数据质量与代表性，而非模型复杂度。

ABSTRACT

A data-centric approach with Natural Language Processing (NLP) to predict personality types based on the MBTI (an introspective self-assessment questionnaire that indicates different psychological preferences about how people perceive the world and make decisions) through systematic enrichment of text representation, based on the domain of the area, under the generation of features based on three types of analysis: sentimental, grammatical and aspects. The experimentation had a robust baseline of stacked models, with premature optimization of hyperparameters through grid search, with gradual feedback, for each of the four classifiers (dichotomies) of MBTI. The results showed that attention to the data iteration loop focused on quality, explanatory power and representativeness for the abstraction of more relevant/important resources for the studied phenomenon made it possible to improve the evaluation metrics results more quickly and less costly than complex models such as the LSTM or state of the art ones as BERT, as well as the importance of these results by comparisons made from various perspectives. In addition, the study demonstrated a broad spectrum for the evolution and deepening of the task and possible approaches for a greater extension of the abstraction of personality types.

研究动机与目标

• 通过系统性地运用NLP技术增强文本表征，提升MBTI人格类型预测性能。
• 评估以数据为中心的改进是否优于BERT或LSTMs等复杂深度学习模型在MBTI分类中的表现。
• 探究特征工程（情感、语法和基于方面分析）对模型性能的影响。
• 证明通过迭代式数据优化可实现比架构复杂化更快、更经济且更有效的模型改进。
• 通过支持更深层次的语言与心理特征提取，将人格类型抽象化拓展至传统MBTI之外。

提出的方法

• 本研究采用以数据为中心的方法，聚焦于训练数据质量、代表性及解释力的迭代改进。
• 通过三种分析类型增强文本表征：情感分析、语法结构分析与基于方面特征分析。
• 使用堆叠集成模型，对MBTI的四组二元对立维度（如I/E、S/N、T/F、J/P）分别使用四个独立分类器进行建模。
• 通过网格搜索结合渐进式反馈机制优化超参数，逐步提升模型性能。
• 该方法避免依赖LSTM或BERT等复杂架构，转而优先关注特征工程与数据质量。
• 从多个视角开展评估，包括与最先进模型的对比，以验证模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 能否通过基于NLP的特征工程系统性地增强数据，从而在不依赖复杂深度学习模型的前提下提升MBTI预测性能？
• RQ2 聚焦于数据质量与代表性，与模型复杂度相比，在预测MBTI人格类型时表现如何？
• RQ3 情感、语法与基于方面特征在提升MBTI二元对立维度分类性能方面，其贡献程度如何？
• RQ4 迭代式数据优化循环是否能带来比架构创新更快的收敛速度与更优的评估指标？
• RQ5 该NLP与机器学习框架在拓展人格类型抽象化方面，具有多大潜力？

主要发现

• 以数据为中心的方法显著提升了评估指标，且未使用BERT或LSTM等最先进模型。
• 在堆叠模型中结合渐进式反馈的网格搜索优化，性能优于复杂架构，表明数据质量比模型复杂度更具影响力。
• 对数据迭代的重视，特别是数据的代表性与解释力，带来了更快且成本更低的模型性能提升。
• 该方法在多个评估视角下表现出鲁棒性，验证了其有效性与泛化能力。
• 研究表明，通过更深层次的语言与心理特征工程，具有广泛潜力可拓展人格类型抽象化。
• 情感、语法与基于方面特征共同提升了模型性能，凸显其在人格预测中的互补作用。