[論文レビュー] Methodology Matters: How We Study Socio-Technical Aspects in Software Engineering

Courtney Williams, Margaret-Anne D. Storey+3 more|arXiv (Cornell University)|May 30, 2019

Software Engineering Techniques and Practices参考文献 59被引用数 7

ひとこと要約

本稿では、ソフトウェア工学分野における研究戦略を分類するフレームワークを提案する。253篇のICSE技術トラック論文を分析した結果、人間的・社会的側面の直接的調査よりも、データ駆動型および技術的解決策中心のアプローチに強いバイアスが存在することが明らかになった。主な発見は、コミュニティが主にデータ戦略を用いた設計／評価貢献を生み出していることであり、社会的・技術的ダイナミクスの理解を深めるために、より多様な研究手法の導入が求められる。

ABSTRACT

Modern software engineering involves both human and technical aspects, the importance of which is widely accepted by practitioners and researchers alike. At a community level, software engineering researchers may be expected to choose a balance of research strategies that capture both social and technical characteristics of software development. In this paper, we consider if the research strategies we use do in fact provide this balance. We first developed a research strategy framework to help distinguish research strategies that directly study human and social aspects, from strategies that rely on data such as trace, archival or simulated data, and those that may focus more on technical or system aspects. We utilized this framework to categorize the research strategies used by 253 technical track papers from the International Conference on Software Engineering (ICSE). Using a design science lens, we further identified the types of research contributions provided in these papers---either descriptive knowledge, or the design and evaluation of technical solutions. We mapped the contribution types to the research strategies identified. We found that, at the community level, the papers we analyzed strongly favour data strategies over strategies that directly study human and social aspects, and most research contributions consist of the design or evaluation of technical solutions. We conclude by proposing that our community should diversify our use of research strategies so that we may have a deeper understanding of human and social aspects of software development practice, while balancing the design and evaluation of innovations on the technical side.

研究の動機と目的

• 現在のソフトウェア工学研究戦略が、人間的／社会的側面の研究と技術的システム開発の両方をバランスよく行っているかどうかを検討すること。
• 研究の焦点（直接的人間的／社会的調査、データベース分析（トレース／アーカイブ／シミュレーテッド）、技術的／システム中心のアプローチ）に基づいて研究戦略を区別するフレームワークを構築すること。
• デザインサイエンスの視点を用いて、研究貢献（記述的知識対比して技術的解決策の設計／評価）を研究戦略にマッピングすること。
• 特にICSEのような主要国際会議において、研究戦略の使用に生じる不均衡を特定すること。
• ソフトウェア開発における社会的・技術的側面の理解をよりバランスよく達成するため、研究戦略の多様化を提言すること。

提案手法

• 研究戦略のフレームワークを構築し、研究の主な焦点（直接的人間的／社会的調査、データベース分析（トレース／アーカイブ／シミュレーテッド）、技術的／システム中心）に基づいて研究を分類する。
• 国際ソフトウェア工学会議（ICSE）の253篇の技術トラック論文を収集し、分析した。
• 各論文の貢献を、記述的知識か技術的解決策の設計／評価かという観点から、デザインサイエンスの視点で分類した。
• 各論文の研究戦略と貢献タイプをマッピングし、パターンや不均衡を特定した。
• 定性的な分類と主題分析を用いて、研究戦略および貢献の頻度と分布を評価した。
• 分析から得られた実証的知見に基づき、研究手法の多様化に関する提言を提示した。

実験結果

リサーチクエスチョン

• RQ1 ICSE論文における現在のソフトウェア工学研究戦略は、人間的・社会的側面の直接的調査よりも、データベース型または技術的システム中心のアプローチにどれほど優先されているか。
• RQ2 ICSE論文において、最も一般的な研究貢献の種別（記述的知識対比して技術的解決策の設計／評価）は何か。また、それらは研究戦略ごとにどのように分布しているか。
• RQ3 ICSE論文において、人間的・社会的側面を直接調査する研究戦略は、データベース型および技術的戦略と比較して、頻度と貢献タイプの両面でどの程度異なるか。
• RQ4 ソフトウェア工学研究において、研究戦略と貢献の性質の間にはどのような関係があるか。
• RQ5 ソフトウェア工学研究コミュニティは、ソフトウェア開発における社会的・技術的側面の理解をよりよくするために、どのように研究手法のバランスを改善できるか。

主な発見

• 分析の結果、トレース、アーカイブ、シミュレーテッドデータを含むデータベース型研究戦略が、人間的・社会的側面を直接調査する戦略を著しく上回ることが明らかになった。
• 分析されたICSE論文における大多数の研究貢献は、人間的・社会的要因に関する記述的知識ではなく、技術的解決策の設計または評価であった。
• 人間的・社会的側面に焦点を当てた研究戦略は、分析されたICSE技術トラック論文において顕著に不足していた。
• 研究戦略の分布に明確な不均衡が認められ、技術的およびデータ駆動型のアプローチが、直接的な社会的・技術的探究手法を著しく上回っていた。
• 本研究では、現在のソフトウェア工学研究文化が、人間的・社会的ダイナミクスの深層的探求よりも、技術的イノベーションおよびデータ分析を優先していることが判明した。
• 著者らは、コミュニティが社会的・技術的現象の理解をよりバランスよく達成するため、研究手法の多様化を図るべきだと結論づけた。