[논문 리뷰] An Experience Report on Machine Learning Reproducibility: Guidance for Practitioners and TensorFlow Model Garden Contributors

Vishnu Banna, Akhil Chinnakotla외 8명|arXiv (Cornell University)|2021. 07. 02.

Big Data and Business Intelligence인용 수 8

한 줄 요약

이 논문은 텐서플로 모델 가든에 고품질의 표준화된 기여를 가능하게 하기 위해, YOLO 패밀리를 사례로 삼아 최첨단 기계학습 모델을 재현하기 위한 체계적인 공학적 프로세스를 제시한다. 이 접근법은 구조화된 모델 구현, 역할이 정의된 팀 기반 개발, 자동화된 모니터링, 그리고 재현 가능성과 커뮤니티 기여를 위한 문서화된 최적 실천 방안을 포함한다.

ABSTRACT

Machine learning techniques are becoming a fundamental tool for scientific and engineering progress. These techniques are applied in contexts as diverse as astronomy and spam filtering. However, correctly applying these techniques requires careful engineering. Much attention has been paid to the technical potential; relatively little attention has been paid to the software engineering process required to bring research-based machine learning techniques into practical utility. Technology companies have supported the engineering community through machine learning frameworks such as TensorFLow and PyTorch, but the details of how to engineer complex machine learning models in these frameworks have remained hidden. To promote best practices within the engineering community, academic institutions and Google have partnered to launch a Special Interest Group on Machine Learning Models (SIGMODELS) whose goal is to develop exemplary implementations of prominent machine learning models in community locations such as the TensorFlow Model Garden (TFMG). The purpose of this report is to define a process for reproducing a state-of-the-art machine learning model at a level of quality suitable for inclusion in the TFMG. We define the engineering process and elaborate on each step, from paper analysis to model release. We report on our experiences implementing the YOLO model family with a team of 26 student researchers, share the tools we developed, and describe the lessons we learned along the way.

연구 동기 및 목표

• 실제 응용에서 표준화되고 재현 가능한 기계학습 모델 구현의 부족을 해결하기 위해, 특히 커뮤니티 수용을 위해.
• 반복 가능한 공학 프로세스를 수립하여 텐서플로 모델 가든에 일관되고 고품질의 기여를 가능하게 하기 위해.
• 학생과 연구자로 구성된 대규모 팀 간의 협업을 지원하기 위해 역할 정의, 온보딩 절차, 프로젝트 관리 워크플로우를 제공하기 위해.
• 클라우드 기반 기계학습 훈련 환경에서 예산 및 자원 모니터링을 위한 도구를 개발하기 위해.
• 모델의 재현 가능성, 유지보수성, 확장성 향상을 위한 공학 실천 방안을 문서화하고 공유하기 위해.

제안 방법

• 논문 분석, 데이터 파이프라인 개발, 모델 아키텍처 구현, 손실 함수 설계, 훈련, 평가의 단계별로 명확히 구분된 체계적인 모델 공학 프로세스를 채택하였다.
• 주로 텐서플로를 프레임워크로 사용하였으며, 표준화된 규칙과 버전 제어를 통해 코드 일관성을 확보하였다.
• 모듈성 향상과 병렬 진행을 위해 데이터 파이프라인, 모델, 손실 함수 개발을 전담하는 하위 팀을 구성하였다.
• 훈련 중 예산 초과를 방지하기 위해 구글 클라우드 플랫폼에서 자동화된 VM 모니터링을 구현하였다.
• 주간 진행 상황 리뷰를 통해 과제 할당, 마감일 추적, 팀 책임감을 향상시키기 위해 Monday.com를 사용하였다.
• 신규 구성원의 훈련을 표준화하고 모델 공학 작업에 대한 준비 여부를 평가하기 위해 파이썬과 텐서플로를 활용한 온보딩 과제를 개발하였다.

실험 결과

연구 질문

• RQ1 커뮤니티 리포지토리인 텐서플로 모델 가든에 적합한 최첨단 기계학습 모델을 신뢰할 수 있고 재현 가능한 방식으로 구현하기 위한 체계적인 공학 프로세스는 무엇인가?
• RQ2 다양한 전문성 수준의 학생과 연구자로 구성된 대규모 팀이 복잡한 기계학습 모델 구현에 효과적으로 기여하기 위해 어떻게 조직되고 관리될 수 있는가?
• RQ3 클라우드 기반 모델 훈련 및 평가 중에 비용 통제와 자원 효율성을 확보하기 위한 도구와 실천 방안은 무엇인가?
• RQ4 신규 기여자를 대규모 기계학습 공학 프로젝트에 신속하게 통합하기 위해 온보딩 프로세스를 어떻게 표준화할 수 있는가?
• RQ5 모델의 유지보수성, 확장성, 커뮤니티 표준과의 호환성을 보장하기 위한 최적 실천 방안은 무엇인가?

주요 결과

• 팀은 YOLO 모델 패밀리를 성공적으로 구현하고 텐서플로 모델 가든에 포함하기 위한 준비를 마쳤으며, 제안된 공학 프로세스의 개념 증명으로서의 기능을 입증하였다.
• 신입 대비 경력자 비율이 2:1이었을 때, 모델 개발 기간은 5~6.5개월로 나타나, 팀 구성이 프로젝트 일정에 미치는 영향을 입증하였다.
• 클라우드 자원 사용량을 모니터링하고 예산 경고를 발행하며, 한도에 도달하면 자동으로 VM을 종료하는 자동화된 VM 모니터링 도구를 개발하였다.
• 온보딩 과제는 파이프라인, 모델 아키텍처, 손실 함수 분야에서의 기술을 테스트함으로써 신규 구성원의 준비 여부를 효과적으로 평가하고 모델 공학 작업에 대비시켰다.
• Monday.com와 같은 프로젝트 관리 도구는 과제의 가시성과 책임감을 향상시켜, 유휴 시간을 줄이고 팀의 효율성을 높였다.
• 하위 팀, 명확한 마일스톤, 정기적인 리뷰를 포함한 팀의 체계적인 접근 방식은 학기 동안의 도전에도 불구하고 일관된 진전을 가능하게 하였다.