[논문 리뷰] An Exploratory Study of Debugging Episodes

Abdulaziz Alaboudi, Thomas D. LaToza|arXiv (Cornell University)|2021. 05. 05.

Software Engineering Research참고 문헌 54인용 수 7

한 줄 요약

이 연구는 11명의 전문 개발자가 수행한 실시간 스트리밍 프로그래밍 세션에서 총 30시간의 데이터를 분석하여 실제 개발 환경에서의 디버깅 과정을 규명한다. 2,137건의 디버깅 활동과 1,407건의 프로그래밍 활동에 대한 정성적 코드 분석을 통해 개발자들은 평균적으로 8분마다 디버깅을 수행하며, 총 작업 시간의 약 절반을 디버깅에 할애하고 있음을 밝혀냈다. 특히 장시간 지속되는 디버깅 세션에서는 활동의 다양성과 변동성이 높은 편이다. 연구 결과는 디버깅을 순수한 결함 탐색으로만 보는 시각을 도전하며, 편집, 테스트, 브라우징, 외부 자원 활용 간의 컨텍스트 스위칭을 줄일 수 있는 통합된 디버깅 도구의 필요성을 제기한다.

ABSTRACT

Many studies have long investigated how developers debug, shaping our understanding of debugging and helping motivate the creation of more effective tools. However, less is known about the typical progression of debugging in real world settings. In this study, we focus on characterizing debugging episodes from the moment at which developers first encounter a defect to the moment at which it is resolved. We investigate the typical duration and frequency of debugging episodes and the typical activities which occur. We observed developers by watching professional developers at work in live-streamed programming sessions. Using this data source, we curated 15 sessions in which 11 professional developers worked for 30 hours. We then systematically coded the debugging episodes and activities that occurred within these videos, yielding a dataset of 2137 debugging activities and 1407 programming activities. We found that debugging was frequent, even in programming work, occurring once every eight minutes. Debugging episodes vary greatly in time, with most being less than a few minutes and a few as more than 100 minutes. However, most debugging time is spent in long debugging episodes. We found no single activity that dominated debugging time, and long debugging episodes often involved many diverse activities. Finally, we found that,in terms of the activities developers did, programming and debugging were remarkably similar, particularly in the frequency of editing and browsing code.

연구 동기 및 목표

• 인위적인 실험실 연구나 로그 기반 분석을 뛰어넘어 자연스러운 프로그래밍 환경에서의 디버깅 과정의 실제 흐름을 이해하기 위해.
• 직접 관찰을 통해 전문 개발자의 작업을 기반으로 디버깅 세션의 빈도, 지속 시간, 활동 패턴을 규명하기 위해.
• 디버깅 활동과 일반 프로그래밍 활동 간의 빈도 및 유형을 비교하여 분석하기 위해.
• 특히 다양한 디버깅 작업 간의 컨텍스트 스위칭 문제를 포함한 개발 워크플로우의 핵심 과제를 규명하여 차세대 디버깅 도구 설계에 기여하기 위해.

제안 방법

• 연구진은 실제 오픈소스 프로젝트를 개발 중인 전문 개발자들의 15개 실시간 스트리밍 프로그래밍 세션을 선별하여 총 30시간의 영상 데이터를 확보하였다.
• 연구진은 웹 기반의 맞춤형 도구인 Observe-dev.online을 활용하여 영상 세그먼트를 편집, 디버깅, 관련 없음 등의 카테고리로 분류하고 주석을 달았다.
• 코드 분석은 체계적이고 반복적인 방식으로 진행되었으며, 편집, 브라우징, 테스트, 프로그램 상태 점검, 외부 자원 참조 등의 활동을 식별하고 레이블링하였다.
• 데이터셋에는 디버깅 활동 2,137건과 프로그래밍 활동 1,407건이 포함되어 있어 행동 패턴에 대한 정량적·정성적 분석이 가능했다.
• 플랫폼는 공동 주석 작성, 타임라인 시각화, 데이터 공유를 지원하여 코드 분석의 재현 가능성과 투명성을 확보하였다.
• 분석은 디버깅 세션의 지속 시간, 빈도, 활동 다양성에 중점을 두었으며, 일반 프로그래밍 작업과의 비교를 포함하였다.

실험 결과

연구 질문

• RQ1 실제 프로그래밍 작업에서 디버깅 세션은 얼마나 자주 발생하는가?
• RQ2 디버깅 세션의 평균 지속 시간은 얼마이며, 세션 간에 어떻게 변동되는가?
• RQ3 개발자들은 디버깅 세션 동안 어떤 유형의 활동을 수행하며, 이는 일반 프로그래밍 활동과 어떻게 다를까?
• RQ4 짧은 디버깅 세션과 긴 디버깅 세션 간에 활동의 다양성과 순서는 어떻게 다를까?
• RQ5 코드 브라우징, 편집, 테스트, 외부 자원 활용 측면에서 디버깅과 프로그래밍 행동은 어떤 방식으로 다를까?

주요 결과

• 개발자들은 프로그래밍 작업 동안 평균적으로 8분마다 디버깅을 수행하며, 이는 디버깅이 개발 과정에서 빈번하고 핵심적인 요소임을 시사한다.
• 관찰된 총 프로그래밍 시간의 약 절반을 디버깅이 차지하며, 총 89개의 별도 디버깅 세션에서 15시간의 디버깅 시간이 기록되었다.
• 대부분의 디버깅 세션은 짧다(몇 분 미만), 그러나 대부분의 디버깅 시간은 장시간 지속되는 세션에서 소비되며, 일부는 100분이 넘는 경우도 있었다.
• 특정 디버깅 활동 하나가 시간을 지배하지는 않았으며, 장시간 세션에서는 편집, 브라우징, 테스트, 프로그램 상태 점검, 외부 자원 참조 등의 다양한 활동이 복합적으로 포함되어 있었다.
• 프로그래밍과 디버깅 활동은 코드 편집과 브라우징의 빈도가 놀랍게 유사하여, 탐색과 수정이 둘 다 핵심적인 활동임을 시사한다.
• 디버깅과 프로그래밍의 주요 차이는 테스트 및 프로그램 상태 점검 활동에 있다. 이는 디버깅이 일상적인 편집과 탐색을 넘어서 깊이 있는 행동 분석을 포함한다는 것을 의미한다.