[논문 리뷰] Accelerating Innovation Through Analogy Mining

Tom Hope, Joel Chan외 2명|arXiv (Cornell University)|2017. 06. 17.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 대규모 텍스트 저장소에서 학습된 '문제 스키마'—즉, 커뮤니티 기반 및 순환 신경망을 통해 제품 기술서에서 유도된 목적 및 메커니즘 벡터를 활용하여 유사성 사례를 채굴하는 확장 가능한 방법을 제안한다. 이 방법은 기존의 TF-IDF나 무작위 기반 대비 유사성 탐지 정밀도를 높이고 창의적 아이디어 생성 능력을 크게 향상시킨다.

ABSTRACT

The availability of large idea repositories (e.g., the U.S. patent database) could significantly accelerate innovation and discovery by providing people with inspiration from solutions to analogous problems. However, finding useful analogies in these large, messy, real-world repositories remains a persistent challenge for either human or automated methods. Previous approaches include costly hand-created databases that have high relational structure (e.g., predicate calculus representations) but are very sparse. Simpler machine-learning/information-retrieval similarity metrics can scale to large, natural-language datasets, but struggle to account for structural similarity, which is central to analogy. In this paper we explore the viability and value of learning simpler structural representations, specifically, "problem schemas", which specify the purpose of a product and the mechanisms by which it achieves that purpose. Our approach combines crowdsourcing and recurrent neural networks to extract purpose and mechanism vector representations from product descriptions. We demonstrate that these learned vectors allow us to find analogies with higher precision and recall than traditional information-retrieval methods. In an ideation experiment, analogies retrieved by our models significantly increased people's likelihood of generating creative ideas compared to analogies retrieved by traditional methods. Our results suggest a promising approach to enabling computational analogy at scale is to learn and leverage weaker structural representations.

연구 동기 및 목표

• 특허 데이터베이스와 같은 대규모 비정형 아이디어 저장소에서 구조적으로 유사한 유사성 사례를 찾는 데 도전하는 것.
• 표면적 유사성 이상의 유용한 유사성 사례를 식별할 수 있는 확장 가능하고 계산적으로 실현 가능한 방법을 개발하는 것.
• 유사성 기반 검색을 통해 다양한 그러나 관련성이 높은 영감을 사용자가 접근할 수 있도록 하여 혁신을 향상시키는 것.
• 유사성 기반 영감이 아이디어 생성 과제에서 인간의 창의성에 기여하는지 평가하는 것.

제안 방법

• 1,000개의 제품 기술서에 목적 및 메커니즘 구성 요소를 커뮤니티 기반 방식으로 주석 처리하였다.
• 주석 처리된 데이터를 기반으로 순환 신경망(RNN)을 훈련시어 목적 및 메커니즘의 조밀한 벡터 표현을 학습하였다.
• 학습된 목적 및 메커니즘 벡터를 활용해 제품 간의 구조적 정렬 기반으로 유사성 유사성 유사도를 계산하였다.
• 정밀도 및 재현율 지표를 사용해 기존의 TF-IDF, LSA, GloVe, LDA 등의 전통적 방법과 성능을 비교 평가하였다.
• 참가자들이 제안된 모델 또는 기반 모델에서 유사성 사례를 제공받아 재설계 과제를 수행하는 아이디어 생성 실험을 실시하였다.
• 랜덤 효과 로지스틱 회귀 분석을 적용해 유사성 원천이 '좋은' 아이디어를 생성할 확률에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 목적 및 메커니즘 벡터와 같은 약한 구조적 표현이 실제 제품 기술서에서 유사성 유사성을 효과적으로 포착할 수 있는가?
• RQ2 학습된 목적 및 메커니즘 벡터를 기반으로 한 유사성 채굴이 기존의 정보 검색 방법보다 관련성이 높은 유사성 사례를 식별하는 데 더 우수한가?
• RQ3 TF-IDF나 무작위 영감 대비, 유사성 기반 영감이 아이디어 생성 과제에서 인간의 창의성에 얼마나 기여하는가?
• RQ4 검색된 유사성 사례의 다양성과 구조적 유사성은 생성된 아이디어의 질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 TF-IDF, LSA, GloVe, LDA보다 유사성 탐지 정밀도가 유의미하게 높았으며, k=2일 때 F1 스코어가 67.96%, k=3일 때도 67.96%를 기록하였다.
• k=2일 때, 제안된 방법을 사용한 경우 '좋은' 아이디어를 생성할 확률은 0.71이었고, TF-IDF는 0.28, 무작위 샘플링은 0.27이었으며, 두 경우 모두 통계적으로 유의미한 차이를 보였다(p < 0.01).
• k=3일 때, 제안된 방법을 사용한 경우 '좋은' 아이디어를 생성할 확률은 0.56이었고, TF-IDF는 0.16, 무작위 샘플링은 0.14였으며, 이 또한 통계적으로 유의미한 차이를 보였다(p < 0.01).
• 모델은 AIC를 682.28(귀무 모델)에서 k=2일 때 620.32, k=3일 때 595.90로 감소시켜 과적합 없이 더 나은 적합도를 나타내었다.
• 가설 검정 결과, 카이제곱 검정에서 χ² = 92.38(p < 0.01)로 귀무 모델 대비 모델의 성능 향상이 유의미하게 확인되었다(k=3 기준).
• 결과적으로 목적 및 메커니즘 벡터는 다양하고 구조적으로 유사한 영감을 효과적으로 추출하여 창의적 아이디어 생성 능력을 크게 향상시킨다는 점을 입증하였다.