[논문 리뷰] What are the Machine Learning best practices reported by practitioners on Stack Exchange?

Anamaria Mojica-Hanke, Andrea Bayona외 3명|arXiv (Cornell University)|2023. 01. 25.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 14개의 스택 익스체인지 커뮤니티에서 242개의 높은 점수를 받은 게시물을 채굴하여 127개의 머신러닝 최적 실천 방법을 식별하고 검증하였다. 이후 네 명의 머신러닝 전문가에 의해 철저히 평가되었다. 이 실천 방법들은 머신러닝 라이프사이클 단계에 따라 정리되었으며, 소프트웨어 엔지니어링 작업에 초점을 맞춘 구체적인 사례를 포함하여, 실무자와 연구자가 일반적인 함정을 피하고 머신러닝 구현 품질을 향상시키기 위한 실용적이고 근거 기반의 안내서를 제공한다.

ABSTRACT

Machine Learning (ML) is being used in multiple disciplines due to its powerful capability to infer relationships within data. In particular, Software Engineering (SE) is one of those disciplines in which ML has been used for multiple tasks, like software categorization, bugs prediction, and testing. In addition to the multiple ML applications, some studies have been conducted to detect and understand possible pitfalls and issues when using ML. However, to the best of our knowledge, only a few studies have focused on presenting ML best practices or guidelines for the application of ML in different domains. In addition, the practices and literature presented in previous literature (i) are domain-specific (e.g., concrete practices in biomechanics), (ii) describe few practices, or (iii) the practices lack rigorous validation and are presented in gray literature. In this paper, we present a study listing 127 ML best practices systematically mining 242 posts of 14 different Stack Exchange (STE) websites and validated by four independent ML experts. The list of practices is presented in a set of categories related to different stages of the implementation process of an ML-enabled system; for each practice, we include explanations and examples. In all the practices, the provided examples focus on SE tasks. We expect this list of practices could help practitioners to understand better the practices and use ML in a more informed way, in particular newcomers to this new area that sits at the intersection of software engineering and machine learning.

연구 동기 및 목표

• 실제 소프트웨어 엔지니어링 환경에서 실무자들이 보고한 머신러닝 최적 실천 방법을 식별하고 체계화하는 것.
• 소프트웨어 엔지니어링 분야에서 종합적이고 검증된, 영역에 특화된 머신러닝 최적 실천 방법 가이드라인의 부족을 해결하는 것.
• 스택 익스체인지 커뮤니티 토론을 기반으로 한 공동체 기반의 논의에서 유래한, 체계적이고 증거 기반의 머신러닝 실천 방법 핸드북을 제작하는 것.
• 다양한 배경을 가진 네 명의 머신러닝 전문가의 검토를 통해 식별된 실천 방법을 검증하여 신뢰성과 실용적 관련성을 확보하는 것.
• 실천 가능하고 맥락에 특화된 지침을 통해 소프트웨어 엔지니어링 실무자와 연구자가 일반적인 머신러닝 함정을 피할 수 있도록 지원하는 것.

제안 방법

• 머신러닝 및 소프트웨어 엔지니어링과 관련된 14개의 전문 커뮤니티에서 242개의 높은 점수를 받은 스택 익스체인지 게시물을 체계적으로 채굴하였다.
• 오픈 코딩 체계를 사용하여 수작업 선택, 태깅, 분류를 포함한 다단계 질적 분석 과정을 적용하였다.
• 주관성을 줄이기 위해 세 명의 독립 태거가 참여하고, 공통의 이해를 도모하기 위해 합의 회의를 실시하였다.
• 데이터 준비, 모델 선택, 학습, 평가, 배포를 포함한 머신러닝 파이프라인의 10개 카테고리로 실천 방법을 분류하였다.
• 배경이 다양한 네 명의 머신러닝 전문가의 검토를 통해 모든 127개의 실천 방법을 검증하였으며, 이의 반박과 분류의 반복적 개선을 허용하였다.
• 공동체 지식 추출과 전문가 검증을 결합한 혼합 방법론을 사용하여 신뢰성과 실용적 관련성을 확보하였다.

실험 결과

연구 질문

• RQ1 스택 익스체인지 커뮤니티에서 실무자들이 흔히 보고하는 머신러닝 최적 실천 방법은 무엇인가?
• RQ2 이러한 실천 방법들은 머신러닝 라이프사이클 단계에 따라 어떻게 체계적으로 분류될 수 있는가?
• RQ3 전문가가 검증한 실천 방법들이 실제 세계의 공동체 토론과 얼마나 일치하는가?
• RQ4 소프트웨어 엔지니어링 맥락에서 실무자들이 자주 언급하는 함정과 과제는 무엇인가?
• RQ5 커뮤니티 기반의 머신러닝 실천 방법은 어떻게 신뢰성 있고 실천 가능한 핸드북으로 전환될 수 있는가?

주요 결과

• 이 연구는 총 127개의 머신러닝 최적 실천 방법을 식별하였으며, 기존 프레임워크에서 다루지 않은 '구현' 단계를 포함한 전체 머신러닝 라이프사이클을 아우르는 10개 카테고리로 체계적으로 정리되었다.
• 실천 방법들은 스택 익스체인지에서의 실제 토론에서 유래되었으며, 소프트웨어 엔지니어링 맥락에서 실무자들이 겪는 실제 과제와 해결책을 반영하고 있다.
• 전문가 검증을 통해 실천 방법의 신뢰성이 확인되었으며, 전문가의 반론 이후 소수의 재분류만 필요로 하여 강력한 공감대와 신뢰성을 보였다.
• 가장 자주 보고된 실천 방법은 데이터 전처리, 모델 평가, 하이퍼파라미터 튜닝에 집중되어 있었으며, 머신러닝 개발에서의 일반적인 고통점이 드러났다.
• 연구는 데이터 누출, 과적합, 낮은 일반화 능력 등의 반복적인 문제를 확인하였으며, 이는 공동체에서 제안한 실천 방법을 통해 지속적으로 해결되고 있었다.
• 최종 핸드북는 버그 예측, 코드 요약 등 소프트웨어 엔지니어링 작업에 특화된 구체적 사례 기반 지침을 제공하여 실용적 적용성을 높였다.