[論文レビュー] Accelerating Innovation Through Analogy Mining

Tom Hope, Joel Chan+2 more|arXiv (Cornell University)|Jun 17, 2017

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本稿では、クラウドソーシングと再帰ニューラルネットワークを用いて製品説明から学習された「問題スキーマ」—目的およびメカニズムのベクトル—を用いて、大規模なテキストリポジトリから類似例を抽出するスケーラブルな手法を提案する。この手法は、従来のTF-IDFやランダムベースラインと比較して、類似例検出の精度が高く、ユーザーの創造的アイデア生成を顕著に向上させる。

ABSTRACT

The availability of large idea repositories (e.g., the U.S. patent database) could significantly accelerate innovation and discovery by providing people with inspiration from solutions to analogous problems. However, finding useful analogies in these large, messy, real-world repositories remains a persistent challenge for either human or automated methods. Previous approaches include costly hand-created databases that have high relational structure (e.g., predicate calculus representations) but are very sparse. Simpler machine-learning/information-retrieval similarity metrics can scale to large, natural-language datasets, but struggle to account for structural similarity, which is central to analogy. In this paper we explore the viability and value of learning simpler structural representations, specifically, "problem schemas", which specify the purpose of a product and the mechanisms by which it achieves that purpose. Our approach combines crowdsourcing and recurrent neural networks to extract purpose and mechanism vector representations from product descriptions. We demonstrate that these learned vectors allow us to find analogies with higher precision and recall than traditional information-retrieval methods. In an ideation experiment, analogies retrieved by our models significantly increased people's likelihood of generating creative ideas compared to analogies retrieved by traditional methods. Our results suggest a promising approach to enabling computational analogy at scale is to learn and leverage weaker structural representations.

研究の動機と目的

• 特許データベースなどの大規模で非構造的なアイデアリポジトリにおいて、構造的に類似した類似例を見つけるという課題に対処すること。
• 表面的な類似性を超えて有用な類似例を特定できる、スケーラブルで計算的に実行可能な手法を開発すること。
• 類似例駆動の検索により、多様でありながら関連性の高いインスピレーションにユーザーがアクセスできるようにすることで、イノベーションを向上させること。
• 類似例に基づくインスピレーションが、アイデーションタスクにおける人間の創造性を高めることを評価すること。

提案手法

• 1,000件の製品説明をクラウドソーシングで目的およびメカニズムのコンponentsにラベル付けした。
• ラベル付け済みデータを用いて再帰ニューラルネットワーク（RNN）を学習させ、目的およびメカニズムの密なベクトル表現を学習した。
• 学習された目的およびメカニズムのベクトルを用いて、構造的整合性に基づき製品間の類似例を計算した。
• 精度および再現率の指標を用いて、TF-IDF、LSA、GloVe、LDAといった従来手法と比較して類似例検出のパフォーマンスを評価した。
• 参加者が提案モデルまたはベースラインから類似例を受け取り、リデザインタスクを実施するアイデーション実験を実施した。
• 「良い」アイデアを生成する確率に及ぼす類似例のソースの影響を評価するため、ランダム効果ロジスティック回帰を適用した。

実験結果

リサーチクエスチョン

• RQ1 目的およびメカニズムのベクトルといった弱い構造的表現は、実世界の製品説明において類似例の類似性を効果的に捉えることができるか？
• RQ2 学習された目的およびメカニズムのベクトルに基づく類似例抽出は、従来の情報検索手法よりも関連性の高い類似例を特定する上で優れているか？
• RQ3 TF-IDFやランダムインスピレーションと比較して、類似例に基づくインスピレーションはアイデーションタスクにおける人間の創造性をどの程度向上させるか？
• RQ4 取得された類似例の多様性と構造的類似性は、生成されたアイデアの質にどのように影響するか？

主な発見

• 提案手法は、TF-IDF、LSA、GloVe、LDAと比較して、類似例検出の精度が顕著に高く、k=2ではF1スコア67.96%、k=3でも67.96%を達成した。
• k=2の場合、提案手法を用いた場合の「良い」アイデアを生成する確率は0.71であったが、TF-IDFでは0.28、ランダムサンプリングでは0.27であり、両者とも有意差（p < 0.01）が確認された。
• k=3の場合、提案手法では「良い」アイデアを生成する確率は0.56であったが、TF-IDFでは0.16、ランダムサンプリングでは0.14であり、両者とも有意差（p < 0.01）が確認された。
• モデルは、AICを、帰無モデルの682.28からk=2の620.32、k=3の595.90に低下させ、過剰適合を伴わずにより良いフィットを示した。
• 尤度比検定により、k=3の場合、帰無モデルに対するモデルの改善が確認され、χ² = 92.38（p < 0.01）であった。
• 結果から、目的およびメカニズムのベクトルが、多様でありながら構造的に類似したインスピレーションを効果的に抽出でき、創造的アイデーションを顕著に向上させることを示している。