[論文レビュー] Accelerating science with human-aware artificial intelligence

Jamshid Sourati, James Evans|arXiv (Cornell University)|Jun 2, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文は、人間の専門知識の分布をモデル化して将来の科学的発見を予測する人間を配慮する人工知能を提案する。熟練者による認知的にアクセス可能な推論を模倣することで、AIの性能を著しく向上させ、特に情報が乏しい文献環境下で予測精度を最大400%向上させ、従来の研究経路では得られにくい「異星的」な仮説を生成する。

ABSTRACT

Artificial intelligence (AI) models trained on published scientific findings have been used to invent valuable materials and targeted therapies, but they typically ignore the human scientists who continually alter the landscape of discovery. Here we show that incorporating the distribution of human expertise by training unsupervised models on simulated inferences cognitively accessible to experts dramatically improves (up to 400%) AI prediction of future discoveries beyond those focused on research content alone, especially when relevant literature is sparse. These models succeed by predicting human predictions and the scientists who will make them. By tuning human-aware AI to avoid the crowd, we can generate scientifically promising "alien" hypotheses unlikely to be imagined or pursued without intervention until the distant future, which hold promise to punctuate scientific advance beyond questions currently pursued. Accelerating human discovery or probing its blind spots, human-aware AI enables us to move toward and beyond the contemporary scientific frontier.

研究の動機と目的

• 既存のAIモデルが人間の認知的・専門的制約を無視するという限界に対処すること。
• 人間の専門知識の分布と認知的にアクセス可能な推論をモデル化することで、AIによる将来の科学的発見の予測を向上させること。
• 現在の研究コミュニティが干渉しない限り、考えられず、あるいは追求されない可能性の高い科学的に有望な仮説を生成すること。
• AIが科学的盲点を探索し、現在の最前線を超えて発見を加速できることを可能にすること。

提案手法

• 研究コンテンツに依存するのではなく、熟練者にとって認知的にアクセス可能な推論のシミュレーションに基づいて教師なしモデルを学習する。
• 誰がどの推論を行う可能性があるかを反映するために、人間の専門知識の分布を表現学習プロセスに組み込む。
• 熟練者が予測する可能性があるものをモデル化することで、認知的妥当性を科学的新規性の代理指標とする。
• 一般的な人間の予測パターンを避けるようにAIをチューニングし、主流の研究経路とは乖離した「異星的」な仮説を生成する。
• 情報が乏しい文献環境を活用して、モデルがコンテンツ中心のモデルを上回る能力を示すかをテストする。
• 既知の科学的発見と照合して予測を検証し、人間の熟練者による評価を通じて新規性を評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の専門知識の分布を組み込むことで、コンテンツ中心のモデルと比較してAIの将来の科学的発見予測能力はどの程度向上するか？
• RQ2 人間を配慮するAIは、現在の研究コミュニティが追求しない可能性の高い科学的に有望な仮説をどの程度生成できるか？
• RQ3 認知的にアクセス可能な推論に基づいて学習したモデルは、低データ量または情報が乏しい文献環境下で、標準的なNLPモデルを上回る性能を示せるか？
• RQ4 AIを「大衆」の予測パターンを避けるようにチューニングすることで、科学的進歩を促す仮説が得られるか？
• RQ5 人間を配慮するAIが科学的発見タスクにおける予測精度に及ぼす定量的影響は何か？

主な発見

• 人間の専門知識の分布をAIモデルに組み込むことで、特に情報が乏しい文献環境下で、コンテンツ中心のモデルと比較して将来の発見予測精度が最大400%向上した。
• 人間を配慮するAIモデルは、どの科学者がどの推論を行う可能性があるかをシミュレートすることで、現実の熟練者の行動と整合する発見を正確に予測した。
• 一般的な人間の予測パターンを避けるようにモデルをチューニングすることで、「異星的」な仮説を生成した。これらは科学的に妥当ではあるが、見過ごされていたものであり、新たな発見の道筋を示唆した。
• モデルは、従来のAIモデルが訓練信号が不足するため苦戦する低データレジームでも優れた性能を示した。
• このアプローチにより、科学的盲点の特定が可能になり、従来数十年も探索されないまま放置されていた仮説を生成することで、発見を加速できるようになった。