[논문 리뷰] Methodology Matters: How We Study Socio-Technical Aspects in Software Engineering

Courtney Williams, Margaret-Anne D. Storey외 3명|arXiv (Cornell University)|2019. 05. 30.

Software Engineering Techniques and Practices참고 문헌 59인용 수 7

한 줄 요약

이 논문은 소프트웨어 공학 분야의 연구 전략을 분류하는 프레임워크를 제안하며, 253편의 ICSE 기술 트랙 논문을 분석하여 인간 및 사회적 측면을 직접 연구하는 것보다 데이터 기반 및 기술적 해결책 중심의 방법에 대한 강한 편향을 드러낸다. 주요 발견은 연구 공동체가 주로 데이터 전략을 활용해 설계/평가 기여를 생산하고 있으며, 사회기술적 상호작용을 깊이 이해하기 위해 다각도의 방법론이 더 필요하다는 점이다.

ABSTRACT

Modern software engineering involves both human and technical aspects, the importance of which is widely accepted by practitioners and researchers alike. At a community level, software engineering researchers may be expected to choose a balance of research strategies that capture both social and technical characteristics of software development. In this paper, we consider if the research strategies we use do in fact provide this balance. We first developed a research strategy framework to help distinguish research strategies that directly study human and social aspects, from strategies that rely on data such as trace, archival or simulated data, and those that may focus more on technical or system aspects. We utilized this framework to categorize the research strategies used by 253 technical track papers from the International Conference on Software Engineering (ICSE). Using a design science lens, we further identified the types of research contributions provided in these papers---either descriptive knowledge, or the design and evaluation of technical solutions. We mapped the contribution types to the research strategies identified. We found that, at the community level, the papers we analyzed strongly favour data strategies over strategies that directly study human and social aspects, and most research contributions consist of the design or evaluation of technical solutions. We conclude by proposing that our community should diversify our use of research strategies so that we may have a deeper understanding of human and social aspects of software development practice, while balancing the design and evaluation of innovations on the technical side.

연구 동기 및 목표

• 현재 소프트웨어 공학 연구 전략이 인간/사회적 측면의 연구와 기술적 시스템 개발 사이에 균형을 이루고 있는지 검토하기 위해.
• 연구 전략의 초점을 기반으로 분류할 수 있는 프레임워크를 개발하기 위해—직접적인 인간/사회적 연구, 데이터 기반 분석(트레이스/기록/시뮬레이션), 또는 기술적/시스템 중심 접근 방식.
• 디자인 과학 시각을 활용해 각 논문의 기여를 기술적 솔루션의 설계/평가 또는 서술적 지식으로 분류하기 위해.
• ICSE와 같은 주요 컨fer런스에서 연구 전략 사용의 불균형을 특정하기 위해.
• 소프트웨어 개발의 사회기술적 차원을 더 균형 잡힌 이해를 위해 연구 전략의 다양화를 촉구하기 위해.

제안 방법

• 연구 전략 프레임워크를 개발하여 연구의 주요 초점을 기반으로 연구를 분류—직접적인 인간/사회적 연구, 데이터 기반 분석(트레이스, 기록, 시뮬레이션), 또는 기술적/시스템 중심 초점.
• 국제 소프트웨어 공학 회의(ICSE)에서의 253편의 기술 트랙 논문을 수집하고 분석.
• 각 논문의 기여를 디자인 과학 시각을 활용해 서술적 지식 또는 기술적 솔루션의 설계/평가로 분류.
• 각 논문의 연구 전략을 그 기여 유형과 연결하여 패턴과 불균형을 식별.
• 질적 분류 및 주제 분석을 활용해 연구 전략과 기여의 빈도 및 분포를 평가.
• 분석 결과를 바탕으로 실증적 근거를 바탕으로 한 방법론 다양화 권고 제안.

실험 결과

연구 질문

• RQ1 ICSE 논문에서 현재 소프트웨어 공학 연구 전략이 인간 및 사회적 측면을 직접 연구하는 것보다 데이터 기반 또는 기술 시스템 중심의 방법에 얼마나 중시하는가?
• RQ2 ICSE 논문에서 가장 흔한 연구 기여 유형(서술적 지식 대비 기술적 솔루션의 설계/평가)은 무엇이며, 연구 전략에 따라 어떻게 분포되어 있는가?
• RQ3 ICSE 논문에서 인간 및 사회적 측면을 직접 연구하는 연구 전략은 데이터 기반 및 기술 전략과 비교해 빈도와 기여 유형 측면에서 어떻게 다른가?
• RQ4 소프트웨어 공학 연구에서 연구 전략과 기여의 성격 사이에는 어떤 관계가 있는가?
• RQ5 소프트웨어 공학 연구 공동체는 소프트웨어 개발의 사회기술적 차원을 더 잘 이해하기 위해 어떻게 방법론적 균형을 개선할 수 있는가?

주요 결과

• 분석 결과, 특히 트레이스, 기록, 시뮬레이션 데이터를 활용한 데이터 기반 연구 전략이 인간 및 사회적 측면을 직접 연구하는 전략보다 강력하게 지배하고 있음을 확인했다.
• 분석된 ICSE 논문에서 대부분의 연구 기여는 인간이나 사회적 요인에 대한 서술적 지식이 아니라, 기술적 솔루션의 설계 또는 평가였다.
• 인간 및 사회적 측면에 초점을 맞춘 연구 전략은 분석된 ICSE 기술 트랙 논문에서 상당히 부족하게 나타났다.
• 연구 전략의 분포에 명백한 불균형이 있었으며, 기술적 및 데이터 기반 접근 방식이 직접적인 사회기술적 탐구 방법을 크게 능가했다.
• 현재 소프트웨어 공학 연구 문화는 인간 및 사회적 상호작용의 깊이 있는 탐구보다는 기술적 혁신과 데이터 분석을 우선시한다는 점을 발견했다.
• 저자들은 공동체가 사회기술적 현상에 대한 더 균형 잡힌 이해를 달성하기 위해 방법론적 접근을 다양화해야 한다고 결론 내렸다.