[论文解读] Accelerating Innovation Through Analogy Mining

Tom Hope, Joel Chan+2 more|arXiv (Cornell University)|Jun 17, 2017

Topic Modeling参考文献 30被引用 5

一句话总结

本文提出了一种可扩展的方法，通过从大型文本存储库中挖掘类比，利用从产品描述中通过众包和循环神经网络学习得到的‘问题模式’——即目的和机制向量——来加速创新。该方法在类比检测中实现了更高的精确度，并显著提升了用户在创意想法生成方面的表现，优于传统的TF-IDF或随机基线方法。

ABSTRACT

The availability of large idea repositories (e.g., the U.S. patent database) could significantly accelerate innovation and discovery by providing people with inspiration from solutions to analogous problems. However, finding useful analogies in these large, messy, real-world repositories remains a persistent challenge for either human or automated methods. Previous approaches include costly hand-created databases that have high relational structure (e.g., predicate calculus representations) but are very sparse. Simpler machine-learning/information-retrieval similarity metrics can scale to large, natural-language datasets, but struggle to account for structural similarity, which is central to analogy. In this paper we explore the viability and value of learning simpler structural representations, specifically, "problem schemas", which specify the purpose of a product and the mechanisms by which it achieves that purpose. Our approach combines crowdsourcing and recurrent neural networks to extract purpose and mechanism vector representations from product descriptions. We demonstrate that these learned vectors allow us to find analogies with higher precision and recall than traditional information-retrieval methods. In an ideation experiment, analogies retrieved by our models significantly increased people's likelihood of generating creative ideas compared to analogies retrieved by traditional methods. Our results suggest a promising approach to enabling computational analogy at scale is to learn and leverage weaker structural representations.

研究动机与目标

• 解决在大型非结构化创意存储库（如专利数据库）中寻找结构上相似类比的挑战。
• 开发一种可扩展且计算上可行的方法，以识别超越表面相似性的有用类比。
• 通过类比驱动的检索，使用户能够获取多样化但相关的灵感，从而提升创新能力。
• 评估类比启发是否能增强人类在创意构思任务中的创造力。

提出的方法

• 利用众包方式对1,000个产品描述进行目的和机制组件的标注。
• 在标注数据上训练循环神经网络（RNN），以学习目的和机制的密集向量表示。
• 利用学习得到的目的和机制向量，基于结构对齐计算产品之间的类比相似度。
• 使用精确率和召回率指标，与TF-IDF、LSA、GloVe和LDA等传统方法对比评估相似度性能。
• 开展一项创意构思实验，参与者接收来自所提模型或基线方法的类比，以激发重新设计任务的灵感。
• 应用随机效应逻辑回归，评估类比来源对生成‘优质’创意概率的影响。

实验结果

研究问题

• RQ1 像目的和机制向量这样的弱结构表示是否能有效捕捉现实世界产品描述中的类比相似性？
• RQ2 基于学习得到的目的和机制向量的类比挖掘方法，是否在识别相关类比方面优于传统信息检索方法？
• RQ3 与TF-IDF或随机启发相比，类比启发在多大程度上能增强人类在创意构思任务中的创造力？
• RQ4 检索到的类比的多样性与结构相似性在多大程度上影响了生成创意的质量？

主要发现

• 所提方法在类比检测中的精确度显著高于TF-IDF、LSA、GloVe和LDA，k=2时F1得分为67.96%，k=3时也为67.96%。
• 当k=2时，使用所提方法生成‘优质’创意的概率为0.71，而TF-IDF为0.28，随机采样为0.27，两者差异均具有统计显著性（p < 0.01）。
• 当k=3时，使用所提方法生成‘优质’创意的概率为0.56，而TF-IDF为0.16，随机采样为0.14，两者差异均具有统计显著性（p < 0.01）。
• 该模型将赤池信息准则（AIC）从原模型的682.28降低至k=2时的620.32和k=3时的595.90，表明模型拟合更优且未出现过拟合。
• 似然比检验确认了模型相对于原模型的显著改进，k=3时χ² = 92.38（p < 0.01）。
• 结果表明，目的和机制向量能够检索到多样化且结构相似的灵感，显著增强创意构思过程。