[論文レビュー] Which Sustainable Software Practices Do Scientists Find Most Useful?

Jory Schossau, Greg Wilson|arXiv (Cornell University)|Jul 23, 2014

Green IT and Sustainability参考文献 1被引用数 4

ひとこと要約

本研究は、科学者が2日間のSoftware Carpentryワークショップを通じて持続可能なソフトウェア開発実践を学ぶ効果を評価する。事前・事後アンケートとワークショップ終了後のインタビューを用いて、参加者が最も価値を感じたのはPythonの習得、リソースへのアクセス、プログラミングの心理的基盤の理解であり、限られた時間にもかかわらずUnixシェルの使用とバージョン管理における自己報告上のスキル向上が顕著に見られた。

ABSTRACT

We studied scientists who attended two-day workshops on basic software skills to determine which tools and practices they found most useful. Our pre- and post-workshop surveys showed increases in self-reported familiarity, while our interviews showed that participants found learning Python more useful than learning the Unix shell, that they found pointers to further resources very valuable, and that background material---the "why" behind the skills---was also very valuable.

研究の動機と目的

• 2日間のSoftware Carpentryワークショップに参加した科学者が、どの持続可能なソフトウェア開発実践やツールを最も有用と感じたかを評価すること。
• 2日間のワークショップが、参加者のコアなソフトウェア開発実践における自己報告上のな熟練度とスキルに与える影響を評価すること。
• ワークショップのどの側面—コンテンツ、指導法、リソースなど—が長期的な採用と認識された有用性に最も寄与しているかを特定すること。
• 背景知識（実践の背後にある理由）と外部リソースが、ワークショップ終了後の学習継続に果たす役割を理解すること。

提案手法

• 95名の参加者に対して事前・事後のアンケートを実施し、Unixシェル、SQL、バージョン管理、テストの4つのコア能力における自己報告上のな熟練度とスキルの変化を測定した。
• 認識バイアスを低減し、スキルの進行を追跡するために、事前・事後のアンケートで類似したが異なる表現を用いた順序尺度の質問を採用した。
• ワークショップ終了後6か月にわたり、24名の参加者に対して半構造化インタビューを実施し、長期的な有用性と認識された利益を検討した。
• インタビュートランスクリプトに対して、オープンコーディング、アキシアルコーディング、選択的コーディングを用いて、繰り返し現れるテーマ（例：「知ること」、「心理的要因」、「リソース」）を同定した。
• アンケートとインタビューのデータを分析し、特定のワークショップ要因や参加者の背景とスキル向上の相関関係を特定した。
• 定量的および定性的な統合的分析を用いて、異なる実践や教育的要素の相対的な有用性を評価した。

実験結果

リサーチクエスチョン

• RQ1 2日間のSoftware Carpentryワークショップに参加した科学者が、どの持続可能なソフトウェア開発実践を最も有用と感じたか？
• RQ2 参加者は、ワークショップ終了後に、コアなソフトウェア開発実践（例：Unixシェル、バージョン管理）におけるな熟練度とスキルにどの程度向上を感じたか？
• RQ3 背景資料（実践の背後にある理由）と外部リソースが、学習継続に果たす価値を参加者がどのように認識しているか？
• RQ4 ワークショップ体験のどの側面—コンテンツの深さ、指導法、リソースへのアクセスなど—が、参加者が最も有益だと感じたり、改善を要すると感じたりしているか？
• RQ5 参加者の初期のコア能力に対するな熟練度に応じて、自己評価スキルレベルはどのように変化したか？

主な発見

• 参加者が最も頻繁に報告したのは、ワークショップで得た最も有用なスキルがPythonの習得であった。これは、Unixシェルのな熟練度を上回った。
• Unixシェルの自己報告上のな熟練度に顕著な向上が見られた（n=43）。大多数の参加者が、実地使用を通じて「な熟練度なし」から「な熟練度あり」に移行した。
• 現実のUnixシェルの問題を解決するスキルが大幅に向上した：「能力なし」で始まった参加者の72％がパイプラインコマンドの使用に到達し、基礎的なコマンドライン知識を持っていた参加者の75％がパイプラインの使用に到達した。
• 外部リソースへのアクセスが非常に高く評価された。インタビューで「リソース」というキーワードが71回登場し、書籍、ウェブサイト、動画チュートリアルなどが含まれた。
• プログラミングの心理的基盤—人間の作業パターンや効果的なコーディング習慣に関する洞察—は、極めて有用であるとされ、ある参加者はこれを「最も重要なこと」と呼んだ。
• 高い認識された価値にもかかわらず、テストのな熟練度には有意な向上が見られず、時間的制約とワークショップの最終トピックとしての位置付けが原因と考えられる。