[논문 리뷰] Applications of statistical causal inference in software engineering

Julien Siebert|arXiv (Cornell University)|2022. 11. 21.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 2010–2022년 사이에 페일의 통계적 인과 추론 프레임워크를 그래픽스 인과 모델을 통해 적용한 소프트웨어 공학(Software Engineering, SE) 분야의 25篇의 논문에 대해 체계적인 맵핑 연구를 수행한다. 연구 결과, SE 분야의 인과 추론은 아직 초기 단계이며 분산되어 있으며 주로 소프트웨어 품질에 집중되어 있으며, 방법론적 잠재력은 증가하고 있음에도 불구하고 구현이나 평가에 대한 공동체 수준의 표준이 부족한 것으로 나타났다.

ABSTRACT

This paper reviews existing work in software engineering that applies statistical causal inference methods. These methods aim at estimating causal effects from observational data. The review covers 32 papers published between 2010 and 2022. Our results show that the application of statistical causal inference methods is relatively recent and that the corresponding research community remains relatively fragmented.

연구 동기 및 목표

• 소프트웨어 공학(SE) 분야에서 페일의 통계적 인과 추론(Statistical Causal Inference, SCI) 프레임워크 적용의 범위와 성격을 조사하기 위해.
• 그래픽스 인과 모델을 SE 문제에 적용할 때의 현재 실무 상태, 핵심 연구 분야, 방법론적 추세를 파악하기 위해.
• SE에서 인과 추론을 구현하고 평가하기 위한 통합된 공동체 실무 환경이 형성되었는지 평가하기 위해.
• SE 연구자와 실무자들이 인과 추론 방법의 잠재력과 한계를 평가할 수 있도록 기초 개요를 제공하기 위해.

제안 방법

• 킨처먼과 찰츠의 지침을 따르는 체계적인 맵핑 연구를 수행하여 2010년부터 2022년까지의 25편의 동료 심사 논문 및 프리프린트 논문을 분석하였다.
• 다중 검색 쿼리를 사용한 이중 단계의 스노볼링 기법을 적용하여 관련 문헌을 식별하였으며, 두 라운드 후 포화 상태에 도달하였다.
• 일관성을 확보하기 위해 단일 리뷰어가 선정 및 분석을 담당하였으며, 결과는 저자들과 워킹 그룹과의 논의를 통해 검증되었다.
• 페일의 do-계산법과 그래픽스 인과 모델(DAGs)을 적용한 논문에 집중하였으며, 잠재적 결과 프레임워크만을 사용하거나 비-SE 중심의 AI 응용 프로그램을 다룬 논문는 제외하였다.
• 연구 분야, 방법론적 접근, 적용 도메인을 기준으로 분류하여 패턴과 격차를 식별하였다.
• 접근성과 출판 품질에 대한 우려로 인해 석사 및 박사 학위 논문는 제외하였지만, 방법론적 관련성 때문에 프리프린트와 기술 보고서는 포함하였다.

실험 결과

연구 질문

• RQ1 페일의 그래픽스 인과 모델 프레임워크는 소프트웨어 공학 연구에서 어느 정도이며 어떤 방식으로 적용되고 있는가?
• RQ2 어느 소프트웨어 공학 도메인과 문제 유형이 인과 추론 방법에 가장 자주 대상으로 삼고 있는가?
• RQ3 SE 데이터에 인과 추론을 적용할 때 주로 사용되는 핵심 방법론적 접근과 가정은 무엇인가?
• RQ4 SE 분야에서 인과 추론을 둘러싼 통합된 공동체 실무 환경이 형성되고 있는가, 아니면 연구 분야가 분산되어 있는가?
• RQ5 현재 문헌 기반으로 보면, 인과 추론 방법을 SE에 도입할 때의 인식된 장점, 한계 및 과제는 무엇인가?

주요 결과

• 페일의 통계적 인과 추론 프레임워크가 소프트웨어 공학에 적용된 것은 비교적 최근이었으며, 분석된 25편의 논문 중 12편만 2020년 이후에 출판되었다.
• 다수의 연구가 소프트웨어 품질 분석에 집중되어 있었으며, 특히 결함 위치 특정과 코드 품질 예측 분야에서 강한 집중 경향을 보였다.
• SE에서 인과 추론을 구현하거나 평가하기 위한 표준화된 공동체 실무 환경은 존재하지 않으며, 이는 연구 분야가 분산되어 있음을 시사한다.
• 인과 그래픽스 모델의 사용은 여전히 신장 단계에 있으며, 많은 연구자들이 프레임워크를 명시적으로 사용하지는 않지만 잠재적으로 유용할 수 있다.
• 방법론적 잠재력은 있으나, 모델 구축, 검증, 평가에 대한 표준화된 관행이 부족하며, 출판 편향으로 인해 성능 향상 평가가 과대평가될 수 있다.
• 용어에 대한 합의가 없음—예를 들어, ‘구조 발견’에 대해 ‘인과 추론’을 사용하거나 ‘반사적 테스트’에 대해 ‘인과 분석’을 사용하는 것—은 분야 내 개념적 및 어휘적 모호성을 드러낸다.