[논문 리뷰] Experiments in Sustainable Software Practices for Future Architectures

Charles Ferenbaugh|arXiv (Cornell University)|2013. 09. 05.

Green IT and Sustainability참고 문헌 1인용 수 5

한 줄 요약

이 논문은 로스 앨라모스 국립연구소(Los Alamos National Laboratory)에서 미래의 멀티코어 및 가속기 기반 아키텍처로 레거시 과학 코드를 이식하는 데 도전하는 데 대비하기 위해 애자일 개발, 단위 테스트, 코드 리뷰, 아키텍처 추상화와 같은 지속 가능한 소프트웨어 공학 관행을 제안한다. 주요 기여는 현대 소프트웨어 관행이 코드 유지보수성 향상, 아키텍처 간 재사용 가능성을 보장하고 고병렬 환경에서의 재현 불가능한 결과 및 수치적 불안정성을 완화함으로써 효과를 입증한 데 있다.

ABSTRACT

In the process of rewriting large physics codes at Los Alamos National Laboratory to perform well on new architectures such as many-core, GPU, and Intel MIC, we have found a number of areas in which sustainable software practices can provide significant advantages. We describe several specific advantages of sustainable practices for future architectures, and report on two small experimental projects at LANL intended to raise awareness of new software practices and programming approaches for new architectures.

연구 동기 및 목표

• GPU 및 멀티코어 시스템과 같은 새로운 아키텍처로 레거시 과학 코드를 유지보수하고 이식하는 데 점점 어려워지는 문제를 해결하기 위해.
• 포괄적인 물리학 코드와 단일 구조의 데이터 구조로 인해 이식성과 모듈화가 저해되는 문제를 극복하기 위해.
• 고성능 계산 환경에서 현대 소프트웨어 공학 관행을 도입함으로써 기술 부채를 줄이고 소프트웨어 품질을 향상시키기 위해.
• 미래 아키텍처에서 병렬 처리와 하드웨어 변동성으로 인해 발생하는 재현 불가능한 결과와 수치적 불안정성을 완화하기 위해.
• 도메인 과학자와 컴퓨터 과학자를 협업형 애자일 개발을 통해 통합하여 코드 지속 가능성과 팀 유대감을 향상시키기 위해.

제안 방법

• 팀 협업과 반응성 향상을 위해 이틀 단위 반복, 매일 스탠드업 미팅, 공동 작업 공간을 활용한 애자일 개발 관행을 도입했다.
• 비정상 케이스에 중점을 두어 비재현성과 수치적 불안정성을 조기에 탐지하기 위해 광범위한 단위 테스트를 구현했다.
• 배포 이전에 코드 품질 문제와 잠재적 버그를 식별하기 위해 정적 및 동적 분석 도구를 적용했다.
• 코드 리뷰와 페어 프로그래밍을 통해 도메인 및 소프트웨어 엔지니어링 팀 간의 코드 품질 향상과 지식 공유를 강화했다.
• 다양한 아키텍처 간 코드 재사용을 극대화하기 위해 소프트웨어 추상화와 고급 언어 기능(예: 템플릿, 함수 인lines)을 도입했다.
• 물리학 논리와 저수준 인프라(예: MPI, 메모리 관리)를 분리하여 이식이 더 쉬운 방식으로 레거시 코드베이스를 재구조화했다.

실험 결과

연구 질문

• RQ1 지속 가능한 소프트웨어 공학 관행은 미래의 멀티코어 및 가속기 기반 아키텍처에서 레거시 과학 코드의 유지보수성과 이식성에 어떻게 기여하는가?
• RQ2 단위 테스트, 코드 리뷰, 페어 프로그래밍과 같은 현대적 개발 기법은 고병렬 HPC 환경에서 재현 불가능한 결과를 줄이는 데 어떤 역할을 하는가?
• RQ3 템플릿과 같은 아키텍처 추상화와 언어 기능을 통해 성능을 희생시키지 않고도 아키텍처 간 코드 재사용을 어느 정도 달성할 수 있는가?
• RQ4 레거시 알고리즘의 수치적 불안정성은 새로운 아키텍처에서 하드웨어 유도 비결정성과 어떻게 상호작용하며, 이를 체계적으로 해결할 수 있는가?
• RQ5 로스 앨라모스 국립연구소와 같은 대규모 과학 계산 센터에서 애자일 및 지속 가능한 소프트웨어 관행의 도입을 저해하는 문화적 및 조직적 장벽은 무엇인가?

주요 결과

• 단일 구조의 데이터 구조와 물리학 및 인프라 간의 낮은 결합도를 가진 전통적 코딩 관행은 새로운 아키텍처로의 이식을 크게 저해하고 코드 유지보수성을 떨어뜨린다.
• 새로운 아키텍처에서 병렬 처리로 인한 재현 불가능한 결과는 기존 디버깅 방법으로는 충분하지 않게 되었으며, 이에 따라 자동화된 테스트와 정적 분석으로의 전환을 필수로 하게 되었다.
• 레거시 알고리즘은 종종 수치적 불안정성을 보였으며, 이는 새로운 하드웨어에서 작은 입력 변화에 의해 악화되어 개발 과정에 명시적 안정성 분석이 필요하게 되었다.
• 페어 프로그래밍과 매일 스탠드업 미팅과 같은 애자일 관행은 도메인 과학자와 소프트웨어 엔지니어 간의 협업과 지식 이관을 향상시켰다.
• 공동 작업 공간과 협업을 위한 전용 시간은 효과적이었지만, LANL의 즉각적인 대응 중심 문화로 인해 자주 방해받아 강한 팀 참여에도 불구하고 생산성이 저하되는 경우가 있었다.
• SWIFT 프로젝트의 교훈은 지속 가능한 관행이 기관의 지지와 팀의 현장 적용을 통해 확장 가능함을 보여주었으며, 이는 지속 가능한 관행이 조직 내에서 확산될 수 있음을 시사한다.