[論文レビュー] Software search is not a science, even among scientists

Michael Hucka, M. J. Graham|arXiv (Cornell University)|Jan 1, 2016

Software Engineering Research参考文献 91被引用数 9

ひとこと要約

本研究は、科学者やエンジニアがソフトウェアをどのように検索するかを調査し、高学歴なユーザーでさえも、専門的なツールではなく一般のウェブ検索、同僚の推薦、学術文献に大きく依存していることが明らかになった。GitHub や Stack Overflow といったプラットフォームにアクセス可能でも、開発者はコミュニティサイトをより多く利用する傾向にあり、劣悪なドキュメンテーションはコード再利用の主な障壁の一つのままである。

ABSTRACT

When they seek software for a task, how do people go about finding it? Past research found that searching the Web, asking colleagues, and reading papers have been the predominant approaches---but is it still true today, given the popularity of Facebook, Stack Overflow, GitHub, and similar sites? In addition, when users do look for software, what criteria do they use? And finally, if resources such as improved software catalogs were to be developed, what kind of information would people want in them? These questions motivated our cross-sectional survey of scientists and engineers. We sought to understand the practices and experiences of people looking for ready-to-run software as well as people looking for source code. The results show that even in our highly educated sample of people, the relatively unsophisticated approaches of relying on general Web searches, the opinions of colleagues, and the literature remain the most popular approaches overall. However, software developers are more likely than non-developers to search in community sites such as Stack Overflow and GitHub, even when seeking ready-to-run software rather than source code. We also found that when searching for source code, poor documentation was the most common reason for being unable to reuse the code found. Our results also reveal a variety of characteristics that matter to people searching for software, and thus can inform the development of future resources to help people find software more effectively.

研究の動機と目的

• 科学者やエンジニアの間でのソフトウェア発見の実態を理解すること。
• ソフトウェアやソースコードを選定する際にユーザーが重視する基準を特定すること。
• ユーザーのニーズと好みを明らかにすることで、改善されたソフトウェアカタログの設計を支援すること。

提案手法

• ソフトウェア検索行動を評価する目的で、科学者やエンジニアを対象とした横断的アンケート調査を実施した。
• 実行可能ソフトウェアおよびソースコードの検索方法についてのデータ収集を行った。
• ツールの使用傾向、意思決定基準、再利用の障壁に関するパターンを特定するために、回答を分析した。
• ソフトウェア開発者と非開発者との間での行動の違いを比較した。
• ドキュメンテーションの質がソフトウェア再利用意思決定に果たす役割を評価した。
• 将来のソフトウェア発見リソースにユーザーが望む主要な機能を同定した。

実験結果

リサーチクエスチョン

• RQ1 科学者やエンジニアは現在、どのようにソフトウェアを検索しており、どのツールを好んでいるのか？
• RQ2 ユーザーがソフトウェアやソースコードを選定する際に最も重視する基準は何か？
• RQ3 見つけたソフトウェア、特にソースコードの再利用を妨げる主な障壁は何か？
• RQ4 ソフトウェア開発者と非開発者との間で、検索行動にどのような違いがあるのか？
• RQ5 改善されたソフトウェアカタログでユーザーが最も価値を感じる情報は何か？

主な発見

• 科学者やエンジニアでさえも、一般のウェブ検索、同僚の推薦、学術文献が、ソフトウェア発見の最も一般的な方法のままである。
• ソフトウェア開発者は、非開発者に比べて、実行可能ソフトウェアを検索する際でも、Stack Overflow や GitHub といったコミュニティプラットフォームを著しく多く利用する傾向にある。
• 劣悪なドキュメンテーションは、見つかったソースコードを再利用できないという最も頻度の高い理由であると特定された。
• ユーザーは、ソフトウェアカタログに明確でアクセスしやすい情報が求められているため、より整理され、ユーザー中心のソフトウェア発見リソースの必要性が示唆される。
• 専門的なプラットフォームが存在するにもかかわらず、幅広い検索とソーシャルネットワークへの依存は、ユーザーのすべてのグループにわたって継続している。
• 本研究は、現在のツールとユーザーのニーズの間にはギャップがあることを明らかにし、ソフトウェアのカタログ化とメタデータの改善に向けた機会を示している。